[論文レビュー] A Correspondence Between Random Neural Networks and Statistical Field Theory

Samuel S. Schoenholz, Jeffrey Pennington+1 more|arXiv (Cornell University)|Oct 18, 2017

Neural Networks and Applications参考文献 13被引用数 12

ひとこと要約

この論文は、広大なランダムニューラルネットワークにおける事前活性化分布と物理学における統計的格子モデルの間の正確な対応関係を確立し、場理論的手法を用いたネットワーク行動の解析を可能にする。フーリエ変換を用いて線形およびReLUネットワークのガウス近似を導出し、大スケールのダイナミクスが有効場理論によって支配されることを示し、アーキテクチャや重み初期化方針にかかわらず、シミュレーションと強い一致を示す。

ABSTRACT

A number of recent papers have provided evidence that practical design questions about neural networks may be tackled theoretically by studying the behavior of random networks. However, until now the tools available for analyzing random neural networks have been relatively ad-hoc. In this work, we show that the distribution of pre-activations in random neural networks can be exactly mapped onto lattice models in statistical physics. We argue that several previous investigations of stochastic networks actually studied a particular factorial approximation to the full lattice model. For random linear networks and random rectified linear networks we show that the corresponding lattice models in the wide network limit may be systematically approximated by a Gaussian distribution with covariance between the layers of the network. In each case, the approximate distribution can be diagonalized by Fourier transformation. We show that this approximation accurately describes the results of numerical simulations of wide random neural networks. Finally, we demonstrate that in each case the large scale behavior of the random networks can be approximated by an effective field theory.

研究の動機と目的

• ランダムニューラルネットワークと統計的場理論を結びつける厳密な理論的枠組みを確立すること。
• 広大なランダムネットワークにおける事前活性化が、統計物理学における格子モデルに正確に写像されることを示すこと。
• 広大な極限における深層線形およびReLUネットワークに対して、ガウス近似および有効場理論を含む体系的な近似を導出すること。
• 数値的シミュレーションによる理論の妥当性を検証し、ネットワーク行動の予測において高い精度を示すこと。
• 場理論的手法を用いて損失関数の地形、学習ダイナミクス、一般化特性を分析する道筋を開くこと。

提案手法

• 重みとバイアスがi.i.d.ガウス分布に従うランダムニューラルネットワーク集合を構築し、それらを正確に統合することで、事前活性化の分布を導出する。
• この分布が統計的格子モデルのボルツマン分布に等価であり、スピン系に正確に対応することを示す。
• 広大なネットワークの極限において、事前活性化分布は幅および重み分散に依存する共分散構造を持つガウス分布として近似される。
• フーリエ変換を用いて共分散行列を対角化し、層間の相関の解析を簡略化する。
• ネットワークの長波長挙動は有効場理論として導出され、ゆっくりとしたフラクチュエーションを捉える連続作用が得られる。
• 理論の妥当性は、複数のアーキテクチャおよび初期化方針における広大なランダムネットワークの数値的シミュレーションと照合することで検証される。

実験結果

リサーチクエスチョン

• RQ1 広大なランダムニューラルネットワークにおける事前活性化分布は、物理学における統計的格子モデルに正確に写像可能か？
• RQ2 深層線形およびReLUネットワークにおいて、広大なネットワーク極限における事前活性化の相関はどのように振る舞うか？
• RQ3 ランダムニューラルネットワークの大スケール挙動を支配する有効場理論の形態は何か？
• RQ4 事前活性化分布のガウス近似は、数値的シミュレーションをどれほど正確に記述できるか？
• RQ5 場理論的手法を用いて、ランダムネットワークにおける学習ダイナミクスおよび損失関数地形の統計を分析できるか？

主な発見

• ランダムニューラルネットワークにおける事前活性化分布は、統計的格子モデルに正確に写像され、ネットワーク解析のための厳密な場理論的基盤を提供する。
• 深層線形およびReLUネットワークにおいて、広大な極限における事前活性化分布は、フーリエ変換によって対角化可能な共分散行列を持つガウス分布でよく近似される。
• ReLUネットワークの有効場理論には、空間的2階微分を含む項が含まれており、非線形性が長波長フラクチュエーションに与える影響を反映している。
• 理論は、複数のネットワークの深さと幅にわたって、事前活性化の分散および相関構造を高い精度で予測し、数値的シミュレーションと一致する。
• このフレームワークにより、統計場理論における標準的手法（例えば、レノルミズーション群の考え）を用いて、ネットワーク挙動の体系的近似が可能になる。
• この手法により、初期損失をランダム初期化集合に対する摂動として扱うことで、将来的に損失関数の地形や初期学習ダイナミクスの分析が可能になる。