[論文レビュー] Proof of the Theory-to-Practice Gap in Deep Learning via Sampling Complexity bounds for Neural Network Approximation Spaces

Philipp Grohs, Felix Voigtlaender|arXiv (Cornell University)|Apr 6, 2021

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

この論文は、深層学習における理論と実装のギャップの存在を、ニューラルネットワーク近似空間のサンプリング複雑度の下界を確立することで証明している。理論的には高い近似速度を持つことが可能である一方で、確率的勾配降下法のような実用的アルゴリズムは、固有のアルゴリズム的制限によりこれらの速度に到達できないことが示され、長年にわたり観察されてきた経験的乖離を裏付けている。

ABSTRACT

We study the computational complexity of (deterministic or randomized) algorithms based on point samples for approximating or integrating functions that can be well approximated by neural networks. Such algorithms (most prominently stochastic gradient descent and its variants) are used extensively in the field of deep learning. One of the most important problems in this field concerns the question of whether it is possible to realize theoretically provable neural network approximation rates by such algorithms. We answer this question in the negative by proving hardness results for the problems of approximation and integration on a novel class of neural network approximation spaces. In particular, our results confirm a conjectured and empirically observed theory-to-practice gap in deep learning. We complement our hardness results by showing that approximation rates of a comparable order of convergence are (at least theoretically) achievable.

研究の動機と目的

• 理論的に証明可能なニューラルネットワーク近似速度が、点サンプルに基づく実用的アルゴリズムによって達成可能かどうかを調査すること。
• 標準的な最適化アルゴリズムによって到達できない理論的近似速度が存在することを形式的に確立すること。
• ネットワークの深さ、重みの大きさ、近似誤差の減衰に関する制約を組み込んだ、ニューラルネットワーク近似空間の新しいクラスを導入すること。
• これらの空間における近似および統合タスクのサンプリング複雑度の下界を導出し、根本的なアルゴリズム的制限を示すこと。
• ニューラルネットワークの優れた理論的表現力と、最適化アルゴリズムによる理論的レート到達の実用的非効率性の間のギャップを解明すること。

提案手法

• 著者らは、ネットワークサイズの増加に伴う近似誤差の減少速度に基づいて関数を特徴づける、近似空間 $ A^{eta,p}_{oldsymbol{ u},oldsymbol{c}}([0,1]^d) $ を定義した。この空間には、深さ $ oldsymbol{ u} $、重みの大きさ $ oldsymbol{c} $、$ L^p $-ノルム誤差を制約する。
• 点サンプルを用いて関数を近似または統合する決定的および確率的アルゴリズムのサンプリング複雑度を分析した。
• 変分法およびミニマックス技術を用いて、所望の近似精度に到達するための最小サンプル数の下界を導出し、標準的な確率的最適化によって到達可能な範囲を超えてサンプル数が急速に増加することを示した。
• 特定のテスト関数の構築と双対性の議論を用いて、任意のアルゴリズムの誤差をそのサンプル数および関数の滑らかさ・ネットワークの複雑さの観点から評価した。
• パラメータ $ heta, heta_0, heta^* $ における不等式と最適化を用いて、最良の収束速度のタイトな下界を導出し、主要な難易度結果に至った。
• 証明は、近似空間の単位球内に属する関数族を構築し、その理論的近似速度を達成するには非現実的な数のサンプルが必要であることを示すことに依拠している。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの理論的最適近似速度は、点サンプルに基づく実用的アルゴリズムによって達成可能か？
• RQ2 ニューラルネットワーク近似空間における関数の近似または統合に必要な根本的なサンプリング複雑度は何か？
• RQ3 一般的な深層学習最適化アルゴリズムが、関数空間解析によって予測される理論的近似速度に到達できないのはなぜか？
• RQ4 ネットワークの深さと重みの大きさの制約が、理論的近似速度の実現可能性をどの程度制限するか？
• RQ5 ニューラルネットワークの理論的近似能力と、最適化アルゴリズムの実用的パフォーマンスの間に、明示的なギャップが存在するか？

主な発見

• この論文は、深層学習における明示的な理論と実装のギャップが存在することを証明した。理論的には特定の関数を高い速度で近似可能である一方で、点サンプルを用いたいかなる決定的または確率的アルゴリズムでも、これらの速度に到達できない。
• ニューラルネットワーク近似空間における近似および統合のサンプリング複雑度の下界が導出された。これにより、標準的な確率的最適化では到達不可能なほど、必要なサンプル数が急速に増加することが示された。
• $ A^{eta,p}_{oldsymbol{ u},oldsymbol{c}}([0,1]^d) $ の単位球に属する関数に対して、到達可能な最良の収束速度は $ n^{-eta} $ で下から抑えられるが、このレートは $ n $ 個のサンプルを用いたいかなるアルゴリズムでも達成できない。
• 滑らかさ $ eta $、ネットワークの深さ $ oldsymbol{ u} $、重み制約 $ oldsymbol{c} $ の間の相互作用の新しい分析を通じて、難易度結果が確立された。これにより、これらの制約がアルゴリズムのパフォーマンスを根本的に制限することが示された。
• 理論的には同程度の近似速度は達成可能であるが、標準的なディープラーニングアルゴリズムではアクセス不可能であることが示され、理論と実装のギャップの経験的観察を裏付けた。
• パラメータ $ heta, heta_0, heta^* $ を含む関数の下限の最大値のタイトな境界を通じて、結果が形式化された。これにより、与えられた制約下での最小達成可能収束速度の明示的表現が得られた。