[論文レビュー] Dynamics of Finite Width Kernel and Prediction Fluctuations in Mean Field Neural Networks

Blake Bordelon, Cengiz Pehlevan|arXiv (Cornell University)|Apr 6, 2023

Neural Networks and Applications被引用数 6

ひとこと要約

本稿は、広大で特徴抽出を行うニューラルネットワークにおける有限幅揺らぎを特徴付けるための動的平均場理論（DMFT）フレームワークを開発した。訓練中にカーネルおよび予測分散が $\mathcal{O}(1/\sqrt{\text{width}})$ に比例してスケーリングされ、動的に結合されていることを示した。豊富で非線形な領域では、特徴抽出が予測分散を低減させ、信号対雑音比を向上させるが、初期化分散はオンライン学習を遅くする可能性がある。理論的予測はCIFAR-10に訓練されたCNNで検証された。

ABSTRACT

We analyze the dynamics of finite width effects in wide but finite feature learning neural networks. Starting from a dynamical mean field theory description of infinite width deep neural network kernel and prediction dynamics, we provide a characterization of the $O(1/\sqrt{ ext{width}})$ fluctuations of the DMFT order parameters over random initializations of the network weights. Our results, while perturbative in width, unlike prior analyses, are non-perturbative in the strength of feature learning. In the lazy limit of network training, all kernels are random but static in time and the prediction variance has a universal form. However, in the rich, feature learning regime, the fluctuations of the kernels and predictions are dynamically coupled with a variance that can be computed self-consistently. In two layer networks, we show how feature learning can dynamically reduce the variance of the final tangent kernel and final network predictions. We also show how initialization variance can slow down online learning in wide but finite networks. In deeper networks, kernel variance can dramatically accumulate through subsequent layers at large feature learning strengths, but feature learning continues to improve the signal-to-noise ratio of the feature kernels. In discrete time, we demonstrate that large learning rate phenomena such as edge of stability effects can be well captured by infinite width dynamics and that initialization variance can decrease dynamically. For CNNs trained on CIFAR-10, we empirically find significant corrections to both the bias and variance of network dynamics due to finite width.

研究の動機と目的

• ラージ・ラージ（lazy）またはNTK領域を超えて、特徴抽出を伴う広大なニューラルネットワークにおける有限幅補正を理解すること。
• ランダムな重み初期化におけるDMFTの順序パラメータ（例えばカーネルおよび予測分散）の $\mathcal{O}(1/\sqrt{\text{width}})$ 揺らぎを特徴付けること。
• より豊富な特徴抽出ダイナミクスが、有限幅ネットワークにおける分散を低減させ、信号対雑音比を向上させることを示し、悪影響を及ぼす有限サイズ効果に反する。
• 無限幅ダイナミクスを拡張し、安定性の縁（edge-of-stability）のような大きな学習率現象を捉えること。初期化分散の動的変化も含む。
• CIFAR-10で訓練されたCNNを用いて理論的予測を実証し、学習ダイナミクスにおけるバイアスおよび分散の有限幅補正を確認すること。

提案手法

• 広大で有限幅のネットワークにおける訓練中のカーネルおよび予測ダイナミクスの揺らぎを計算するため、動的平均場理論（DMFT）に基づく摂動的フレームワークを導出する。
• 2層および深層線形ネットワークにおける、特徴抽出なしのラージ・ラージ限界と、豊富で非線形な特徴抽出領域におけるDMFT方程式を解く。
• カーネルの揺らぎと特徴抽出の間の動的結合を考慮し、接続カーネルおよびネットワーク予測の分散を計算する自己無撞着な形式を導入する。
• 離散時間の訓練ダイナミクスにこのフレームワークを適用し、安定性の縁のような大きな学習率効果の分析を可能にする。
• 変数変換を用いて $v_+(t)$ と $v_-(t)$ のダイナミクスを分離し、初期化に対するカーネル分散 $\kappa(t,s)$ および感度 $D(t,s)$ の解析的計算を可能にする。
• ResNetに類似したCNNをCIFAR-10で訓練した実験により、論文の予測を検証し、幅および学習深さの影響がログィット分散および学習ダイナミクスに与える影響を比較する。

Figure 1: The directed causal graph between DMFT order parameters (blue) and fields (green) defines the $D$ tensors of our theory. Each arrow represents a causal dependence. $K$ denotes the NTK.

実験結果

リサーチクエスチョン

• RQ1 広大で特徴抽出を行うニューラルネットワークにおける訓練中に、カーネルおよび予測分散の $\mathcal{O}(1/\sqrt{\text{width}})$ 揺らぎはどのように変化するか？
• RQ2 有限幅ネットワークにおいて、特徴抽出は最終接続カーネルおよびネットワーク予測の分散をどの程度低減させるか？
• RQ3 初期化分散は、広大だが有限なネットワークにおけるオンライン学習速度にどのように影響するか？また、無限幅ダイナミクスはこれを捉えることができるか？
• RQ4 大きな学習率下での有限サイズ効果、例えば安定性の縁の挙動を、無限幅DMFTダイナミクスが正確に予測できるか？
• RQ5 CIFAR-10で訓練された実際のCNN（例：ResNet）において、有限幅が学習ダイナミクスのバイアスおよび分散に与える経験的補正は何か？

主な発見

• ラージ・ラージ限界では、予測分散は単純な微分方程式に従い、普遍的な $\mathcal{O}(1/\sqrt{\text{width}})$ スケーリングを示す。
• 2層ネットワークでは、特徴抽出が最終接続カーネルおよびネットワーク予測の分散を動的に低減させ、無限幅挙動に近づける。
• 初期化分散が大きいと、広大だが有限なネットワークにおけるオンライン学習が遅くなる。これは、悪影響を及ぼす有限サイズ効果を示している。
• より深いネットワークでは、強い特徴抽出強度下でカーネル分散が層を介して蓄積されるが、特徴カーネルの信号対雑音比は依然として向上する。
• 安定性の縁のような大きな学習率効果は、無限幅DMFTによってよく捉えられており、有限サイズの分散は理論で正確に予測できる。
• CIFAR-10のCNNにおける経験的結果は、より広いおよびより豊富なネットワークが低いログィット分散を示すが、有限幅の影響により、アンサンブル後でも学習ダイナミクスが依然として変化することを確認した。これは、平均ダイナミクスNTPに対する悪影響を及ぼす補正が存在するためである。

(a) Deviation from DMFT vs $N$