[論文レビュー] On the Distributional Properties of Adaptive Gradients

Zhiyi Zhang, Liu Ziyin|arXiv (Cornell University)|May 15, 2021

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 4

ひとこと要約

本稿は、特にAdamを含む適応的勾配法の分布的性質について理論的分析を行い、等方的ガウス勾配のもとでも、パラメータ更新の分散が時間とともに発散せず、常に有限かつ有界であることを示している。これは、従来の発散する分散が学習率のウォームアップを必要とするとの主張を裏付けるものではない。研究では各時刻における更新の正確な分布を導出し、Transformerのような現代的アーキテクチャにおいて実験的に検証した。

ABSTRACT

Adaptive gradient methods have achieved remarkable success in training deep neural networks on a wide variety of tasks. However, not much is known about the mathematical and statistical properties of this family of methods. This work aims at providing a series of theoretical analyses of its statistical properties justified by experiments. In particular, we show that when the underlying gradient obeys a normal distribution, the variance of the magnitude of the extit{update} is an increasing and bounded function of time and does not diverge. This work suggests that the divergence of variance is not the cause of the need for warm up of the Adam optimizer, contrary to what is believed in the current literature.

研究の動機と目的

• 適応的勾配法の統計的性質、特に訓練中のパラメータ更新の分散と分布を調査すること。
• 特にTransformerのようなモデルにおいて、適応的手法における分散の発散が学習率ウォームアップを必要とするという一般的な信念に反論すること。
• 等方的ガウス勾配の仮定の下で、Adamにおける更新の正確な解析的分布を導出することにより、観察された訓練ダイナミクスの理論的基盤を提供すること。
• 現代の深層学習モデル（TransformerやCNNを含む）における単一トレーリングレベルの実測データと理論的予測を照合して検証すること。
• 理論的予測と実測結果の乖離が生じる条件、例えば非ゼロ平均や重尾勾配分布の影響を調査すること。

提案手法

• 独立同一分布の等方的ガウス勾配と時間平均化されたプレコンディショニング行列を仮定したもとで、Adamにおけるパラメータ更新Δθの正確な分布を導出する。
• 勾配の分布的仮定を一切設けない状況でも、更新の大きさの分散が常に有界であり、時間とともに単調に増加することを証明する。
• 解析的導出とシミュレーションを用いて、更新分布が時間の経過に従い二峰性から単峰性に移行し、t → ∞ でガウス分布に収束することを示す。
• MNIST、ResNet-18、VGG-21、およびTransformerにおける実際のトレーニング軌道を用いて、単一実行データを用いて理論的予測と実測分布を実証的に検証する。
• 制御された勾配分布（例：時間変動する分散、非ゼロ平均、コーシー分布）を導入し、理論からの逸脱を分析し、現実世界の乖離を理解する。
• 勾配の相関性や重尾分布が更新分布の形状に与える影響を分析し、実際の訓練で観察される三峰性構造の成り立ちを解明する。

実験結果

リサーチクエスチョン

• RQ1 訓練中に適応的勾配更新の分散は発散するのか？もしそうでなければ、その時間依存的挙動はいかなるものか？
• RQ2 等方的ガウス勾配の仮定の下で、Adamにおける更新の正確な解析的形は何か？
• RQ3 現実世界のトレーニング軌道がなぜ二峰性または三峰性の更新分布を示すのか？それは勾配の分布的性質とどのように関係するのか？
• RQ4 特にTransformerのような深層モデルにおいて、独立同一分布の勾配に基づく理論的予測はどの程度実際の状況に適用可能か？
• RQ5 非ゼロ平均や重尾勾配分布は、更新分布の歪みや変形を引き起こす役割を果たすのか？

主な発見

• 適応的勾配更新の分散は常に有限かつ有界であり、Liuら（2019）の主張とは異なり、発散する分散がウォームアップを必要とするとする根拠にはならない。
• 等方的ガウス勾配のもとでは、すべての有限な時刻において更新分布は有界であり、時間の経過に従い二峰性から単峰性に移行し、t → ∞ でガウス分布に収束する。
• 更新の大きさの分散は時間とともに単調に増加しており、初期の訓練ステップがより変動が大きいが、全体としての更新は安定している。
• 理論的予測は、Transformerを含む多様なアーキテクチャにおいて、単一トレーリングレベルでも実測分布と極めてよく一致する。
• 非ゼロ平均勾配は左に歪んだ更新分布を引き起こし、特に平均の大きさが増加するにつれて、歪みが軽減され、分布がすり減っていく。
• 重尾勾配分布（例：コーシー分布）は三峰性の更新分布をもたらし、これは訓練中にまれに高ノルムの勾配が発生する、または強いノイズが存在することを示唆している。