[論文レビュー] Approximation Rates for Neural Networks with General Activation Functions

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|Apr 4, 2019

Neural Networks and Applications参考文献 27被引用数 6

ひとこと要約

この論文は、フーリエ解析とバロンノルム制約を活用することで、一般の活性化関数を備えた2層ニューラルネットワークの次元に依存しない近似レートを確立する。多項式的減衰を示す活性化関数に対しては $ n^{-1/2} $ の収束レートを証明し、有界で可積分な活性化関数に対しては弱いが依然として次元に依存しない $ n^{-1/4} $ のレートを示す。さらに、やや弱い条件下で階層的サンプリングを用いることで、レートをさらに向上させる。

ABSTRACT

We prove some new results concerning the approximation rate of neural networks with general activation functions. Our first result concerns the rate of approximation of a two layer neural network with a polynomially-decaying non-sigmoidal activation function. We extend the dimension independent approximation rates previously obtained to this new class of activation functions. Our second result gives a weaker, but still dimension independent, approximation rate for a larger class of activation functions, removing the polynomial decay assumption. This result applies to any bounded, integrable activation function. Finally, we show that a stratified sampling approach can be used to improve the approximation rate for polynomially decaying activation functions under mild additional assumptions.

研究の動機と目的

• シグモイド的または周期的タイプに限らない一般の活性化関数へ、2層ニューラルネットワークの次元に依存しない近似レートを拡張すること。
• フーリエ解析とバロンノルム制約を用いて、多項式的減衰を示す活性化関数のための改善された収束レートを確立すること。
• 多項式的減衰を要件としない、より広いクラスの有界で可積分な活性化関数へ結果を一般化すること。
• やや弱い追加仮定の下で、階層的サンプリング技術を用いて近似レートを向上させること。
• 浅いネットワークがバロンノルム正則性によって次元の呪いをどのように克服できるかを理論的に裏付ける基盤を提供すること。

提案手法

• 近似誤差をターゲット関数と活性化関数のフーリエ変換の観点から表現するため、フーリエ解析を用いる。
• ソボレフ空間における近似誤差のバウンディングに、滑らかさの尺度としてバロンノルム $ \|f\|_{\mathcal{B}^{s}} $ を用いる。
• 一般の活性化関数に対する次元に依存しないバウンディングを導出するため、活性化関数の近似積分表現を適用する。
• パラメータ空間を分割することで、近似誤差の分散を低減し、収束レートを向上させる階層的サンプリング戦略を導入する。
• 確率的パラメータの期待値を用いて $ H^m(\Omega) $-ノルムにおける誤差バウンディングを導出し、誤差を最小化するためのサンプリングパラメータの最適化を行う。
• 集中不等式を用いた $ L^2 $-ノルム誤差推定により、高確率近似保証を得る。

実験結果

リサーチクエスチョン

• RQ1 2層ニューラルネットワークの $ n^{-1/2} $ 近似レートは、多項式的減衰を示す活性化関数へ拡張可能か？
• RQ2 多項式的減衰を示さない一般の有界で可積分な活性化関数に対して、最良の近似レートは何か？
• RQ3 やや弱い正則性仮定の下で、階層的サンプリングはニューラルネットワーク近似の収束レートを向上させられるか？
• RQ4 バロンノルムは、高次元における浅いネットワークの近似能力にどのように影響するか？
• RQ5 ReLU やシグモイド的関数と同様に、一般の活性化関数に対しても $ n^{-1/2} $ レートを達成することは可能か？

主な発見

• 多項式的減衰を示す活性化関数に対して、本研究では次元に依存しない近似レート $ n^{-1/2} $ を確立し、従来の結果から対数因子を除去することで改善を達成した。
• 一般の有界で可積分な活性化関数（例：有界 variation）に対しては、弱いが依然として次元に依存しないレート $ n^{-1/4} $ を証明した。これは、シグモイド的または周期的関数に限らない結果の拡張である。
• 階層的サンプリングを適用することで、多項式的減衰を示す活性化関数に対して、最適なパラメータ選択のもとで $ n^{-1/2 - \frac{\min(p-1,\epsilon)}{(d+1)(2 + \min(p-1,\epsilon))}} $ の改善された収束レートを達成した。
• 周期的活性化関数に対しては、階層的サンプリングアプローチにより $ n^{-1/2 - \frac{\epsilon}{(d+1)(2 + \epsilon)}} $ のレートが得られ、ベースラインの $ n^{-1/2} $ レートを上回った。
• ターゲット関数が有限のバロンノルム $ \|f\|_{\mathcal{B}^{m+\epsilon}} $ を持つという仮定の下で導出された。これは、従来のソボレフベースの解析で用いられるものよりも弱い滑らかさ条件である。
• 理論的枠組みは、ターゲット関数がバロンノルムで有界であれば、強い滑らかさ仮定がなくても、浅いネットワークが次元の呪いを克服できることを示した。