[論文レビュー] Fundamental limits of overparametrized shallow neural networks for supervised learning

Francesco Camilli, Daria Tieplova+1 more|arXiv (Cornell University)|Jul 11, 2023

Neural Networks and ApplicationsComputer Science被引用数 3

ひとこと要約

この論文は、同じアーキテクチャを持つ教師ネットワークによって生成されたデータを学習する過パラメータ化された2層ニューラルネットワークの一般化性能に関する、厳密な情報理論的限界を確立する。スピングラス理論とガウス的等価性原理の道具を用いて、十分な数の訓練サンプルを有する高次元的状態において、ニューラルネットワークが一般化誤差と相互情報量の限界において一般化線形モデルと同等に動作することを証明する。

ABSTRACT

We carry out an information-theoretical analysis of a two-layer neural network trained from input-output pairs generated by a teacher network with matching architecture, in overparametrized regimes. Our results come in the form of bounds relating i) the mutual information between training data and network weights, or ii) the Bayes-optimal generalization error, to the same quantities but for a simpler (generalized) linear model for which explicit expressions are rigorously known. Our bounds, which are expressed in terms of the number of training samples, input dimension and number of hidden units, thus yield fundamental performance limits for any neural network (and actually any learning procedure) trained from limited data generated according to our two-layer teacher neural network model. The proof relies on rigorous tools from spin glasses and is guided by ``Gaussian equivalence principles'' lying at the core of numerous recent analyses of neural networks. With respect to the existing literature, which is either non-rigorous or restricted to the case of the learning of the readout weights only, our results are information-theoretic (i.e. are not specific to any learning algorithm) and, importantly, cover a setting where all the network parameters are trained.

研究の動機と目的

• 過パラメータ化された浅いニューラルネットワークの一般化性能の根本的限界を理解すること。
• アーキテクチャとデータの可用性が、教師-生徒フレームワークにおける一般化誤差と相互情報量に与える制約を分析すること。
• すべてのネットワーク重みが学習される情報理論的設定において、ガウス的等価性原理（GEP）の正当性を厳密に確立すること。
• 特定の学習アルゴリズムに依存しない、相互情報量と一般化誤差の限界を導出すること。
• 過パラメータ化されたニューラルネットワークの状態における、非厳密なヒューリスティック解析と厳密な数学的物理的解析の間のギャップを埋めること。

提案手法

• ランダムなi.i.d.入力と、2層の教師ネットワークによって生成された出力を有するベイジアン最適な教師-生徒設定を採用する。
• スピングラス理論の厳密な道具を用いて、ニューラルネットワークの一般化性能の高次元的極限を分析する。
• ガウス的等価性原理（GEP）を用いて、特定のスケーリング下で過パラメータ化されたネットワークにおける非線形活性化が線形モデルと同様に振る舞うことを示す。
• ニューラルネットワークをより単純な一般化線形モデルと比較することで、訓練データとネットワーク重み間の相互情報量の明示的限界を導出する。
• ガウス積分の部分積分と直交化技術を用いて、漸近展開における高次項補正を制御する。
• 入力次元と隠れユニット数ととのスケーリングが適切に制御される条件下で、ニューラルネットワークと一般化線形モデルとの間で、最適一般化誤差と相互情報量において等価性が成立することを確立する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された2層ニューラルネットワークの一般化性能における根本的な情報理論的限界は何か？
• RQ2 どのようなスケーリング条件下で、非線形ニューラルネットワークが一般化性能の観点で一般化線形モデルと同等に振る舞うか？
• RQ3 過パラメータ化された状態において、訓練データとネットワーク重み間の相互情報量は、より単純な線形モデルのそれとどのように関係するか？
• RQ4 すべてのネットワーク重みが学習される状況において、ガウス的等価性原理は、読み出し層のみが学習される場合と同様に厳密に正当化できるか？
• RQ5 この過パラメータ化された教師-生徒設定において、任意の学習手順が達成可能な最適一般化誤差は何か？

主な発見

• 十分な訓練サンプルを有する過パラメータ化された状態において、2層ニューラルネットワークにおける訓練データとネットワーク重み間の相互情報量は、一般化線形モデルのそれによって上限される。
• 同じスケーリング条件下で、ニューラルネットワークのベイズ最適一般化誤差は、情報理論的に一般化線形モデルと同等である。
• ガウス的等価性原理（GEP）は、この設定において厳密に妥当化され、非線形活性化が高次元的極限において線形的挙動を示すことを示している。
• 限界は、訓練サンプル数、入力次元、隠れユニット数に明示的に依存しており、一般化限界の定量的特徴付けが得られる。
• 解析は任意の学習アルゴリズムに適用可能であり、情報理論的でありアルゴリズムに依存しないため、根本的な性能上限を確立する。
• 導出されたスケーリング条件下で、漸近展開における高次項補正が無視可能であることが示され、一般化線形モデルへの等価性の堅牢性が確認される。