[論文レビュー] Neural networks: from the perceptron to deep nets

Marylou Gabrié, Surya Ganguli+2 more|arXiv (Cornell University)|Apr 13, 2023

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、パーセプトロンから深層ネットワークに至るまでのニューラルネットワークの一般化および学習ダイナミクスを理解するために、統計力学、特にレプリカ法と力学系理論の応用をレビューする。一般化の理解を可能にするレプリカ対称性の破れ、信号伝播、力学的等長性といった概念が、過パラメータ化モデルにおける一般化を説明するとともに、極めて深いネットワークの学習を可能にする一方で、非平衡拡散過程と現代の生成AIモデルとの関連も示している。

ABSTRACT

Artificial networks have been studied through the prism of statistical mechanics as disordered systems since the 80s, starting from the simple models of Hopfield's associative memory and the single-neuron perceptron classifier. Assuming data is generated by a teacher model, asymptotic generalisation predictions were originally derived using the replica method and the online learning dynamics has been described in the large system limit. In this chapter, we review the key original ideas of this literature along with their heritage in the ongoing quest to understand the efficiency of modern deep learning algorithms. One goal of current and future research is to characterize the bias of the learning algorithms toward well-generalising minima in a complex overparametrized loss landscapes with many solutions perfectly interpolating the training data. Works on perceptrons, two-layer committee machines and kernel-like learning machines shed light on these benefits of overparametrization. Another goal is to understand the advantage of depth while models now commonly feature tens or hundreds of layers. If replica computations apparently fall short in describing general deep neural networks learning, studies of simplified linear or untrained models, as well as the derivation of scaling laws provide the first elements of answers.

研究の動機と目的

• パーセプトロンやホフスタットネットワークといった初期モデルから、現代の深層学習に至るまで、統計力学的手法がニューラルネットワークの一般化を理解するためにどのように進化したかをたどること。
• レプリカ対称性の破れと力学的平均場理論が、損失関数の幾何構造と最適化が一般化可能な解へと偏るメカニズムをどのように解明するかを説明すること。
• 信号伝播と初期化技術（例：力学的等長性）が、10,000層に達するような極めて深いネットワークの学習をどのように可能にするかを調査すること。
• 非平衡統計力学の原則を、画像生成に用いられる現代の拡散ベース生成モデルに結びつけること。
• ニューラルスケーリング則の理論的基盤を分析し、インテリジェントなデータのプルーニングによって、標準的なべき乗則スケーリングを上回るスケーリング行動が得られるかどうかを検討すること。

提案手法

• 高次元極限下でのパーセプトロンおよびコミитетマシンにおける漸近的一般化誤差を計算するために、レプリカ法を適用する。
• 非凸かつ高次元の損失関数の多様体におけるオンラインおよび確率的勾配降下法のダイナミクスを分析するために、力学的平均場理論を用いる。
• 自由確率論を用いて、深層ランダム重み行列の特異値スペクトルを計算し、動的等長性初期化の導出を可能にする。
• 高次元空間における非平衡拡散過程を分析し、スコアベース拡散モデルによる生成モデリングをモデル化する。
• 非ガウス分布およびプルーニングされたデータ分布に対するレプリカ計算を用いて、べき乗則を超えるテスト誤差のスケーリングを研究する。
• 一般化誤差をシステムパラメータの関数として表す統計力学的学習モデルを用いて、モデルサイズおよびデータサイズのスケーリング則を導出する。

実験結果

リサーチクエスチョン

• RQ1 レプリカ対称性の破れは、過パラメータ化された設定下における非凸分類器の一般化能力をどのように説明するか？
• RQ2 力学的等長性は、極めて深いニューラルネットワークの学習をどのように可能にするか？
• RQ3 非平衡統計力学の原則をどのように活用して、画像合成に適した効果的な生成モデルを設計できるか？
• RQ4 データ、モデルサイズ、計算量の観点から、観察されたニューラルスケーリング則の理論的起源は何か？
• RQ5 インテリジェントなデータプルーニングによって、テスト誤差のスケーリングが標準的なべき乗則を超えるものとなるか？

主な発見

• レプリカ法によれば、1層のパーセプトロンは、約0.14N個のランダムパターンを記憶した時点で一般化誤差が急激に上昇する。
• レプリカ対称性の破れは、非凸分類器の損失関数の多様体が、良好な一般化可能な解に対応する準安定状態を含んでいることを明らかにする。
• 直交行列を用いた重みと特定の非線形関数を組み合わせることで達成される動的等長性初期化により、Normalization層を一切使用せずに10,000層の深層ネットワークの学習が可能になる。
• 拡散ベース生成モデルは、非平衡統計力学に根ざしており、ニューラルネットワークがノイズを加えるプロセスを逆転させることで現実的でない画像を生成する。
• レプリカ計算により、優れたデータプルーニング指標を用いることで、テスト誤差がべき乗則ではなく指数関数的に減少することが示され、標準的なスケーリング則を上回ることが確認された。
• ニューラルスケーリング則は、データサイズ、モデルサイズ、計算量に対してテスト誤差がべき乗則的に減少するが、構造的なデータ選択によりこれを改善可能である。