[論文レビュー] The Quenching-Activation Behavior of the Gradient Descent Dynamics for Two-layer Neural Network Models

Chao Ma, Lei Wu+1 more|arXiv (Cornell University)|Jun 25, 2020

Neural Networks and Applications参考文献 23被引用数 6

ひとこと要約

本稿は、Xavierに類似した初期化における2層ニューラルネットワークの勾配降下ダイナミクスを調査し、多数のニューロンが初期に不活性化され、その後少数の支配的ニューロンが活性化される『抑制-活性化相転移』を明らかにした。この現象により、暗黙の正則化が発生し、一般化性能が向上する。この挙動は、全ニューロンが均一に進化する平均場スケーリングとは対照的であり、そのような相転移は発生しない。

ABSTRACT

A numerical and phenomenological study of the gradient descent (GD) algorithm for training two-layer neural network models is carried out for different parameter regimes when the target function can be accurately approximated by a relatively small number of neurons. It is found that for Xavier-like initialization, there are two distinctive phases in the dynamic behavior of GD in the under-parametrized regime: An early phase in which the GD dynamics follows closely that of the corresponding random feature model and the neurons are effectively quenched, followed by a late phase in which the neurons are divided into two groups: a group of a few "activated" neurons that dominate the dynamics and a group of background (or "quenched") neurons that support the continued activation and deactivation process. This neural network-like behavior is continued into the mildly over-parametrized regime, where it undergoes a transition to a random feature-like behavior. The quenching-activation process seems to provide a clear mechanism for "implicit regularization". This is qualitatively different from the dynamics associated with the "mean-field" scaling where all neurons participate equally and there does not appear to be qualitative changes when the network parameters are changed.

研究の動機と目的

• 勾配降下訓練中の2層ニューラルネットワークにおける暗黙の正則化メカニズムを理解すること。
• 過パラメータ化およびアンダーパラメータ化の両状態における、従来スケーリングと平均場スケーリングの間でのトレーニングダイナミクスの違いを調査すること。
• 従来スケーリングにおける抑制-活性化プロセスが、ランダム特徴モデルを越えて一般化性能の向上をもたらすメカニズムであるかどうかを検討すること。
• ネットワーク幅が増加するに従い、ニューラルネットワーク的挙動とランダム特徴的挙動の間の遷移を特徴付けること。
• 初期化（例：Xavier）が2層ネットワークにおける勾配降下の軌道および収束挙動に果たす役割を明確化すること。

提案手法

• Barron空間に属する目的関数を対象として、ReLU活性化関数を用いた2層ニューラルネットワークにおける勾配降下の数値シミュレーション。
• 同一初期化下での従来スケーリング（1/m 要因なし）と平均場スケーリング（1/m 要因あり）のトレーニングダイナミクスの比較。
• ニューロンレベルのダイナミクスの追跡：外層重み、内層パラメータ、およびその時間的変化。
• ネットワーク幅（m）とデータセットサイズ（n）を変化させた際のテスト誤差および一般化ギャップの分析。
• スケーリングによる一対一対応：ã = a/m、B̃ = mB。
• パスノルムおよびBarronノルムの成長を評価し、暗黙の正則化効果を測定。

実験結果

リサーチクエスチョン

• RQ1 従来スケーリング下での2層ネットワークにおける勾配降下が、ニューロンの抑制から活性化への相転移を示すか？
• RQ2 すべてのニューロンが均一に進化する平均場スケーリングとは異なり、抑制-活性化挙動はどのように異なるか？
• RQ3 抑制-活性化プロセスが、パスノルムの無制限な増大を防ぐ暗黙の正則化メカニズムとして機能できるか？
• RQ4 ネットワーク幅が増加するに従い、NN的挙動とランダム特徴的挙動の遷移点は何か？
• RQ5 従来スケーリングは、平均場スケーリングとは異なり、次元の呪いを回避できるか？

主な発見

• アンダーパラメータ化状態では、勾配降下が2段階のダイナミクスを示す：初期に多数のニューロンが不活性化され、その後少数の活性化ニューロンがダイナミクスを支配する。
• 活性化されたニューロンが目的関数を適合させる一方、抑制されたニューロンはダイナミクスを支える役割を果たし、暗黙の正則化を可能にする。
• この抑制-活性化メカニズムにより、パスノルムの制御された増大が実現され、良好な一般化性能が維持される。
• やや過パラメータ化状態でも、抑制-活性化挙動は継続するが、その後ランダム特徴的ダイナミクスに移行する。
• 平均場スケーリング下では、全ニューロンが顕著に変化し、ダイナミクスは滑らかであるが、m ~ n 付近で次元の呪いにより一般化性能が劣化する。
• 従来スケーリングと平均場スケーリングの間の軌道の一対一対応から、ダイナミクスの差は最適化の根本的性質ではなく、初期パラメータスケーリングの差に起因することが示された。