[論文レビュー] Bounds on the Approximation Power of Feedforward Neural Networks

Mohammad Mehrabi, Aslan Tchamkerten+1 more|arXiv (Cornell University)|Jun 29, 2018

Neural Networks and Applications被引用数 3

ひとこと要約

この論文は、特にReLUを用いた前向き型ニューラルネットワークの近似能力に関するよりきつい上限を確立する。特に、与えられた誤差内で関数を近似するために必要なネットワークサイズ（深さと幅）の改善された下限を導出する。また、同一の重みを持つが異なる活性化関数をもつ2つのネットワーク間の差の上界を新たに導入し、この差が深さに伴い指数関数的に増大するが、活性化関数の類似性とネットワークの幅によって制御されることを示す。

ABSTRACT

The approximation power of general feedforward neural networks with piecewise linear activation functions is investigated. First, lower bounds on the size of a network are established in terms of the approximation error and network depth and width. These bounds improve upon state-of-the-art bounds for certain classes of functions, such as strongly convex functions. Second, an upper bound is established on the difference of two neural networks with identical weights but different activation functions.

研究の動機と目的

• 指定された誤差内で与えられた関数を近似するために必要な、前向き型ニューラルネットワークのサイズ（深さと幅）のよりきつい下限を確立すること。
• ブレークポイント数のカウントを用いたネットワーク容量の分析により、強い凸関数などの特定の関数クラスについて、既存の最先端の境界を改善すること。
• 同一の重みを持つが異なる活性化関数をもつ2つのネットワーク間の差の上界を導出し、活性化関数の選択がネットワーク出力に与える影響を定量化すること。
• 近似能力の観点から、深さと幅のトレードオフを分析し、深さが幅に対して指数的かつ顕著な表現能力の向上をもたらすことを示すこと。

提案手法

• Raghuら（2017）のニューロン状態遷移解析を用い、ネットワークが生成できる線形領域（ブレークポイント）の数に対するよりきつい上界を導出する。
• 深さを表す $ d $ を用いて、先行研究（Yarotsky, 2017）に比べて $ d^d $ 倍の改善を達成する。
• 改善されたブレークポイントの上限と、誤差および入力次元に依存する下限を組み合わせ、近似に必要な深さ、幅、誤差、入力次元の必要条件を導出する。
• 同一の重みを持つが異なる活性化関数 $ \rho $-リプシッツかつ $ L^\natural $-ノルムで $ \rho $-近い2つのネットワーク間の隠れユニット出力差の再帰的解析を導入する。
• 各層ごとの最大出力差を制御する再帰関係式 $ \varepsilon_{i+1}(\boldsymbol{x}) \leq \varepsilon + \delta A \sum_{j=1}^i \omega_j \varepsilon_j(\boldsymbol{x}) $ を導出する。
• この再帰関係を用いて最終的な上界を導出：$ |f_1(\boldsymbol{x}) - f_2(\boldsymbol{x})| \leq \frac{||\sigma_1 - \sigma_2||_\infty}{\delta} \left( (\delta A \omega_f + 1)^{d_f} - 1 \right) $、深さに指数関数的依存が示される。

実験結果

リサーチクエスチョン

• RQ1 区分線形前向き型ネットワークにおいて、ネットワークの深さと幅は、近似誤差にどのように同時に制約を加えるか？
• RQ2 ブレークポイント数のカウントを用いて、強い凸関数などの特定の関数クラスに対して、ネットワークサイズのよりきつい下限を導出できるか？
• RQ3 同一の重みを持つが異なる活性化関数をもつ2つのネットワーク間の最大差は何か？また、深さと幅にどのように依存するか？
• RQ4 活性化関数の選択が、それ以外は同一のネットワークの出力差に与える影響は何か？これはネットワークサイズに依存せずに上界を示せるか？
• RQ5 活性化関数の滑らかさとリプシッツ定数は、異なる活性化関数をもつ2つのネットワーク間の偏差を制御するために果たす役割は何か？

主な発見

• この論文は、Yarotsky（2017）に比べて、ReLUネットワークが生成できる線形領域（ブレークポイント）の数の上界を $ d^d $ 倍改善し、ネットワーク容量の理論的理解を著しく強化した。
• 強い凸関数に対しては、導出されたネットワークサイズ（深さと幅）の下限が、従来の最先端の結果よりもきついものとなっており、このような関数に対してはより深いネットワークがより効率的であることを示唆している。
• 同一の重みを持つが異なる活性化関数をもつ2つのネットワーク間の差の上界が確立された：$ |f_1(\boldsymbol{x}) - f_2(\boldsymbol{x})| \leq \frac{||\sigma_1 - \sigma_2||_\infty}{\delta} \left( (\delta A \omega_f + 1)^{d_f} - 1 \right) $、深さに指数関数的依存が示された。
• 出力差の上界は深さ $ d_f $ に伴い指数関数的に増大するが、活性化関数の類似性（$ ||\sigma_1 - \sigma_2||_\infty $ で測定）とネットワークの幅 $ \omega_f $ によって制御されるため、小さな活性化関数の変更が深層ネットワークでは大きな出力差を引き起こす可能性がある。
• 分析により、深さが幅に対して指数的かつ顕著な表現能力の向上をもたらすことが明らかになった。深さは線形領域の数を指数関数的に増加させるが、幅は多項式的増加にとどまる。
• 導出された境界が、高カーブ性を示す関数クラス（例：高い曲率を持つ関数）においてタイトであることが示された。この場合、必要なネットワークサイズの下限が、ブレークポイント数のカウントから導出された上界と一致する。