[論文レビュー] Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization

Difan Zou, Yuan Cao+2 more|arXiv (Cornell University)|Aug 25, 2021

Neural Networks and Applications参考文献 35被引用数 6

ひとこと要約

この論文は、適切な正則化が施されても、なぜAdamが勾配降下法（GD）よりも一般化性能が悪いのかを説明している。過パラメータ化された2層畳み込みニューラルネットワーク（CNN）と画像に類似したデータにおいて、AdamとGDは異なるグローバル解に収束する。GDは意味のある特徴を学習し、ほぼゼロのテスト誤差を達成するが、Adamはノイズにフィットし、ランダム推測と同等の性能にとどまる。これは非凸な最適化の形状に起因する。

ABSTRACT

Adaptive gradient methods such as Adam have gained increasing popularity in deep learning optimization. However, it has been observed that compared with (stochastic) gradient descent, Adam can converge to a different solution with a significantly worse test error in many deep learning applications such as image classification, even with a fine-tuned regularization. In this paper, we provide a theoretical explanation for this phenomenon: we show that in the nonconvex setting of learning over-parameterized two-layer convolutional neural networks starting from the same random initialization, for a class of data distributions (inspired from image data), Adam and gradient descent (GD) can converge to different global solutions of the training objective with provably different generalization errors, even with weight decay regularization. In contrast, we show that if the training objective is convex, and the weight decay regularization is employed, any optimization algorithms including Adam and GD will converge to the same solution if the training is successful. This suggests that the inferior generalization performance of Adam is fundamentally tied to the nonconvex landscape of deep learning optimization.

研究の動機と目的

• 適切な正則化が施されても、深層ニューラルネットワークにおけるAdamとGDの間の持続的な一般化ギャップを説明すること。
• 正則化がAdamとGDの性能差を解消できるかどうかを調査すること。
• 画像に類似したデータを用いた過パラメータ化された2層CNNにおけるAdamとGDの収束および一般化行動を分析すること。
• 凸最適化領域と非凸最適化領域におけるAdamとGDの挙動を対比すること。

提案手法

• 著者たちは、特徴パッチとノイズパッチから構成されるデータを用いてトレーニングされた2層畳み込みニューラルネットワークを研究している。
• 重み減衰正則化を用い、AdamとGDの両方の最適化下での学習ダイナミクスを分析している。
• 理論的分析により、適切な正則化のもとで、AdamとGDの両方が多項式時間内でゼロのトレーニング誤差に収束することを証明している。
• 学習された重みベクトルを比較し、GDが真の特徴パッチに注目するのに対し、Adamはノイズパッチに過剰適合していることを示している。
• 著者たちは、凸設定において正則化が施された場合、AdamとGDが同じ一意の解に収束することを証明している。これは非凸設定とは対照的である。
• 確率的および高確率的バインドを用いて、2つの最適化手法間の一般化誤差の差を確立している。

実験結果

リサーチクエスチョン

• RQ1 なぜAdamは、重み減衰正則化が施されても、深層学習においてGDほど一般化性能が悪いのか？
• RQ2 過パラメータ化されたニューラルネットワークの損失関数の非凸性が、AdamとGDの一般化ギャップを説明できるか？
• RQ3 正則化付きの凸なトレーニング目的関数において、AdamとGDは同じ解に収束するか？
• RQ4 なぜAdamはノイズパッチにフィットするのに対し、GDはデータ内の意味のある特徴を学習するのか？
• RQ5 Adamの一般化性能の悪さは根本的に非凸最適化に起因するのか、それとも正則化によって是正可能か？

主な発見

• 過パラメータ化された2層CNNの非凸設定において、同じ初期化と重み減衰正則化のもとでも、AdamとGDは異なるグローバル解に収束する。
• GDは真の特徴パッチを学習することでほぼゼロのテスト誤差を達成するが、Adamはノイズパッチに過剰適合し、ランダム推測と同等の性能にとどまる。
• 一般化ギャップは、Adamがデータ内のノイズに対してより感受性が高いため、ノイズ成分が支配的になる解に収束するため生じる。
• 凸設定において重み減衰正則化が施された場合、AdamとGDは同じ一意の解に収束する。これは、差が根本的に非凸性に起因することを示唆する。
• 理論的分析により、両最適化手法が多項式時間内でゼロのトレーニング誤差に達することが確認されたが、異なる最適化経路のため一般化性能に差が生じる。
• 結果は、非凸な深層学習設定において、正則化だけではAdamとGDの一般化ギャップを解消できないことを示している。