[論文レビュー] A mean-field limit for certain deep neural networks

Dyego Carlos Souza Anacleto de Araújo, Roberto I. Oliveira+1 more|arXiv (Cornell University)|Jun 1, 2019

Stochastic Gradient Optimization Techniques参考文献 31被引用数 39

ひとこと要約

本論文は、L≥3、幅Nが大きく、入力と出力の近傍で固定されたランダム特徴を持つ深層ニューラルネットワークの訓練ダイナミクスを説明する平均場（McKean-Vlasov）リミットを導出する。入力と出力の特徴は固定されたままで、深さが大きいネットワークにおける訓練過程を捉える。

ABSTRACT

Understanding deep neural networks (DNNs) is a key challenge in the theory of machine learning, with potential applications to the many fields where DNNs have been successfully used. This article presents a scaling limit for a DNN being trained by stochastic gradient descent. Our networks have a fixed (but arbitrary) number $L\geq 2$ of inner layers; $N\gg 1$ neurons per layer; full connections between layers; and fixed weights (or "random features" that are not trained) near the input and output. Our results describe the evolution of the DNN during training in the limit when $N o +\infty$, which we relate to a mean field model of McKean-Vlasov type. Specifically, we show that network weights are approximated by certain "ideal particles" whose distribution and dependencies are described by the mean-field model. A key part of the proof is to show existence and uniqueness for our McKean-Vlasov problem, which does not seem to be amenable to existing theory. Our paper extends previous work on the $L=1$ case by Mei, Montanari and Nguyen; Rotskoff and Vanden-Eijnden; and Sirignano and Spiliopoulos. We also complement recent independent work on $L>1$ by Sirignano and Spiliopoulos (who consider a less natural scaling limit) and Nguyen (who nonrigorously derives similar results).

研究の動機と目的

• SGDで訓練される場合に深層ニューラルネットワークがどのように進化するかを理解するための平均場スケーリングアプローチを動機づける。
• 浅層ネットワークの平均場結果を深層アーキテクチャへ拡張し、層別の経路依存性を扱う。
• 入力–出力経路に沿った相互作用と層依存の重み分布を捉える厳密なMcKean-Vlasovフレームワークを説明する。
• 得られたMcKean-Vlasov問題の存在と一意性を確立し、SGDのダイナミクスを連続時間の勾配流へ結びつける。

提案手法

• L≥3の隠れ層を持ち、各層にN個のニューロンを配置し、全結合で、入力と出力の特徴を固定したまま乱択特徴を凍結した深層ネットワークモデルを導入する。
• 入力–出力経路に沿って重みが相互作用粒子として振る舞い、その法が平均場測度によって記述されるというアンサッツを定式化する。
• ネットワーク経路に沿ったニューロン値と勾配の平均場表現を導出し、McKean-Vlasov型の進化を導く。
• 深層ネットワークの平均場リミットで生じるMcKean-Vlasov問題の存在と一意性を証明する。
• 平均場設定においてSGDの更新を連続時間の勾配流へ結びつける。
• 関連研究と比較し、異なる層にとってのスケーリングと時間スケールの意味を論じる。

実験結果

リサーチクエスチョン

• RQ1 多くのニューロンを各層に持ち、入力/出力特徴が固定された深層ニューラルネットワークに対して、適切な平均場スケーリングは何か？
• RQ2 大規模Nリミットで層依存の重み分布はSGDの下でどのように進化し、伝播する混乱（propagation of chaos）や経路依存性を示すか？
• RQ3 深層ネットの学習ダイナミクスを正確に記述するMcKean-Vlasov問題を定式化し解くことは可能か？
• RQ4 SGDダイナミクス、理想粒子表現、およびこの平均場 regimeにおける連続時間の勾配流との関係はどうなるか？
• RQ5 この深層ネットワークの平均場リミットは既存の浅層ネットワークの結果をどのように拡張し、文献の他のスケーリングリミットとどう関連するか？

主な発見

• 幅の大きい深層ネットワークでは、層依存性と経路構造の依存を捉えるMcKean-Vlasov過程によって重みが分布へ収束する。
• 入力–出力経路に基づくアンサッツを導入し、理想粒子とそれらの測度がダイナミクスを支配する。
• 提案されたフレームワークの下でMcKean-Vlasov問題の存在と一意性が確立される。
• 勾配と損失は経路測度に結びつく平均場量によって近似でき、SGDを連続時間の勾配流へ結びつける。
• この研究は以前の浅層ネットワーク結果をより深いアーキテクチャへ拡張し、入力と出力の近傍の乱択特徴の役割を明確にする。
• 本研究は関連する独立研究を補完し、スケーリングと時間スケールの考慮点の違いを論じる。