[論文レビュー] Infinite-width limit of deep linear neural networks

Lénaïc Chizat, Maria Colombo+2 more|arXiv (Cornell University)|Nov 29, 2022

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿は、最大更新パrameterization (μP) の下で深層線形ニューラルネットワークの無限幅極限を確立し、勾配降下のダイナミクスが無限次元空間内に決定的で連続時間的な軌道に収束することを証明する。指数的収束により最小 ℓ²-ノルム解に収束し、幅の極限における明示的な行列関係と正規直交基底によって極限ダイナミクスを特徴づける。

ABSTRACT

This paper studies the infinite-width limit of deep linear neural networks initialized with random parameters. We obtain that, when the number of neurons diverges, the training dynamics converge (in a precise sense) to the dynamics obtained from a gradient descent on an infinitely wide deterministic linear neural network. Moreover, even if the weights remain random, we get their precise law along the training dynamics, and prove a quantitative convergence result of the linear predictor in terms of the number of neurons. We finally study the continuous-time limit obtained for infinitely wide linear neural networks and show that the linear predictors of the neural network converge at an exponential rate to the minimal $\ell_2$-norm minimizer of the risk.

研究の動機と目的

• 深層ニューラルネットワークの無限幅極限に関する未解決の問題を解消すること、特に適切な定式化、連続時間極限、および最小化子への収束に関するもの。
• 特徴学習を保持する最大更新パrameterization (μP) の下で、無限幅領域における深層線形ニューラルネットワークの学習ダイナミクスを研究すること。
• 線形予測子および重み分布の極限挙動に対する厳密で定量的な特徴づけを提供すること。
• 無限幅極限において、解析が可能な明示的な構造を確立し、収束および最小化子の選択の分析を可能にすること。

提案手法

• 無限幅極限における確率的行列およびベクトルの時間発展を分析するため、確率的行列理論のモーメント法を用いる。
• 層インデックスの列にインデックス付けされた正規直交基底を構築し、ネットワークの重み行列および活性化空間を分解する。
• 重み行列が基底ベクトルに作用する際の明示的な再帰関係を導出し、無限次元行列表現 Λ₁ および Λ₂ を得る。
• 時間および幅を適切にスケーリングすることで、学習ダイナミクスの連続時間極限を確立し、極限において常微分方程式系を得る。
• モーメント法を用いて、線形予測子が最小 ℓ²-ノルム解に収束する定量的収束速度を証明する。
• 基底および行列構造の一般化により、3層ネットワークの結果をより深いネットワークに拡張する。

実験結果

リサーチクエスチョン

• RQ1 深層線形ネットワークにおける勾配降下の無限幅極限は、無限次元空間内に適切に定義された連続時間的軌道に対応するか？
• RQ2 無限幅極限はリスクの最小化子に収束するか？ もしそうならば、特に複数の最小化子が存在する場合、どの最小化子に収束するのか？
• RQ3 極限ダイナミクスは決定的システムで記述可能か？ また、重みの分布の法則を特徴づけることは可能か？
• RQ4 線形予測子が無限幅極限において最小 ℓ²-ノルム解に収束する速度は何か？
• RQ5 層間の行列関係は極限でどのように変化するか？ また、明示的な無限次元作用素で表現可能か？

主な発見

• μPの下で深層線形ネットワークにおける勾配降下の無限幅極限は、無限次元空間内に決定的で連続時間的な勾配フローに収束する。
• 線形予測子は、無限幅極限において最小 ℓ²-ノルム解に指数的レートで収束する。
• 極限ダイナミクスは明示的な無限次元行列作用素 Λ₁ および Λ₂ によって支配され、これらは幅極限における層間の相互作用を符号化する。
• モーメント法により、ガウス初期化に限らず、非ガウス初期化に対しても普遍的な収束速度が得られる。
• 極限における重み行列は、学習軌道に沿って決定的に変化する明確な法則によって特徴づけられる。
• 3層ネットワークからより深いアーキテクチャへの分析の一般化が可能であり、極限においても同一の構造的および収束的性質が成り立つ。