[論文レビュー] Depth-Width Tradeoffs in Approximating Natural Functions with Neural Networks

Itay Safran, Ohad Shamir|arXiv (Cornell University)|Oct 31, 2016

Advanced Numerical Analysis Techniques被引用数 94

ひとこと要約

この論文は、ReLUフィードフォワードネットワークを用いた自然関数の近似において、理論的で深さと幅のトレードオフを確立している。深層ネットワークは、球体や楕円体の指示関数、L1-径数関数、滑らかな非線形関数などの特定の関数を、浅層ネットワークよりも指数的に低い幅で近似できることを示している。2層ネットワークは、精度と次元の多項式的幅を必要とするが、3層ネットワークは、同じ精度を達成するための指数的幅を必要としない。標準的なバックプロパゲーションで訓練された場合でも、この差は顕著である。

ABSTRACT

We provide several new depth-based separation results for feed-forward neural networks, proving that various types of simple and natural functions can be better approximated using deeper networks than shallower ones, even if the shallower networks are much larger. This includes indicators of balls and ellipses; non-linear functions which are radial with respect to the $L_1$ norm; and smooth non-linear functions. We also show that these gaps can be observed experimentally: Increasing the depth indeed allows better learning than increasing width, when training neural networks to learn an indicator of a unit ball.

研究の動機と目的

• 自然的で解釈可能な関数を用いて、ニューラルネットワークの深さに基づく分離結果を理論的に確立すること。
• 深層ネットワークが、それよりも浅いネットワークですら大幅に大きな場合でさえも、特定の関数をはるかに低い幅で近似できることを示すこと。
• これらの近似ギャップが理論的なものにとどまらず、標準的な学習手法を用いて実際の場面でも観察可能であることを示すこと。
• L2近似誤差の観点から、実世界の学習タスクに関連する関数を対象として、ReLUネットワークの表現力の分析を行うこと。

提案手法

• Eldan & Shamir (2016) の還元を用いて、2層ネットワークがユニットボールや楕円体の指示関数を、幅が指数的でない限り O(1/d⁴) よりも良い精度で近似できないことを証明する。
• 任意のL1-径数で、区分的線形関数を、ε-精度で O(d/ε) 個のニューロンを用いて正確に表現する3層ReLUネットワークを構築する。
• 深さを用いてビット抽出と合成を介して乗算をシミュレートすることで、加算と乗算から構成される関数の効率的近似を可能にする。
• 加算と乗算を含む t 個の演算で計算可能な関数について、L∞近似誤差の境界を導出。深さと幅が log(1/ε) および log(M) に依存することを示す。
• 深さに基づく上界と幅に基づく下界を組み合わせ、ネットワークサイズ要件における指数的分離を確立する。
• 標準的なバックプロパゲーションを用いて、2層および3層ネットワークを用いてユニットボールの指示関数を学習する実験的検証を行い、理論的予測を確認する。

実験結果

リサーチクエスチョン

• RQ1 深層ReLUネットワークは、浅層ネットワークよりもはるかに低い幅で自然関数を近似できるか？
• RQ2 標準的な学習アルゴリズムを用いて、深層と浅層ネットワークの間の近似ギャップは実際の場面で観察可能か？
• RQ3 2層ReLUネットワークが、高い精度でユニットボールの指示関数を近似するのに必要な最小幅は何か？
• RQ4 和と積から構成される関数（例：和と積の組み合わせ）は、小さな幅と深さの深層ネットワークによって効率的に近似可能か？
• RQ5 自然関数に対して、浅層ネットワークの近似誤差は次元 d と目標精度 ε に対してどのようにスケーリングされるか？

主な発見

• R^d 内のユークリッド単位球体の指示関数は、幅が d に関して指数的でない限り、2層ReLUネットワークで O(1/d⁴) よりも良い精度では近似できない。
• 任意の楕円体の指示関数に関しても、2層ネットワークでは同じ指数的幅の下界が成り立ち、一方3層ネットワークは O(d/ε) 個のニューロンで ε-精度を達成できる。
• 任意のL1-径数で区分的線形関数 f(x) = f(||x||₁) は、幅が Õ(min{1/ε, exp(Ω(d))}) 未満の2層ReLUネットワークでは ε-近似が不可能である。
• x² などの滑らかで2回微分可能な関数（[0,1] 上）は、深層ネットワークでは多項式的(log(1/ε))の深さと幅で近似可能だが、定数深さのネットワークでは、幅が少なくとも多項式的(1/ε)以上でなければ ε-精度に達しない。
• 実験的学習では、3層ネットワークが標準的なバックプロパゲーションでユニットボールの指示関数を効果的に学習するが、2層ネットワーク（たとえ大きなものであっても）は著しく困難である。
• 理論的分析により、観察された性能差が最適化の困難さではなく、根本的な近似限界に起因することが確認された。