[論文レビュー] Adai: Separating the Effects of Adaptive Learning Rate and Momentum Inertia.

Zeke Xie, Xinrui Wang+3 more|arXiv (Cornell University)|Jun 29, 2020

Stochastic Gradient Optimization Techniques参考文献 68被引用数 7

ひとこと要約

本稿は、Adamにおける適応的学習率とモーメンタムの効果を分離し、適応的学習率が高速な鞍点脱出を可能にするが、平坦な最小解の選択を損なうのに対し、モーメンタムは最小解の選択に歪みをもたらさずに脱出を支援することを明らかにした。一般化を向上させるために、著者らはパラメータごとの適応的慣性を用いる新しい最適化フレームワーク「Adaptive Inertia」を提案。このフレームワークは訓練を加速させるとともに、SGDと同様に平坦な最小解を好む特性を持ち、実験においてSGDおよびAdamを上回る一般化性能を示した。

ABSTRACT

Adaptive Momentum Estimation (Adam), which combines Adaptive Learning Rate and Momentum, is the most popular stochastic optimizer for accelerating the training of deep neural networks. However, empirically Adam often generalizes worse than Stochastic Gradient Descent (SGD). We unveil the mystery of this behavior based on the diffusion theoretical framework. Specifically, we disentangle the effects of Adaptive Learning Rate and Momentum of the Adam dynamics on saddle-point escaping and minima selection. We prove that Adaptive Learning Rate can escape saddle points efficiently, but cannot select flat minima as SGD does. In contrast, Momentum provides a drift effect to help the training process pass through saddle points, and almost does not affect flat minima selection. This theoretically explains why SGD (with Momentum) generalizes better, while Adam generalizes worse but converges faster. Furthermore, motivated by the analysis, we design a novel adaptive optimization framework named Adaptive Inertia, which uses parameter-wise adaptive inertia to accelerate the training and provably favors flat minima as well as SGD. Our extensive experiments demonstrate that the proposed adaptive inertia method can generalize significantly better than SGD and conventional adaptive gradient methods.

研究の動機と目的

• Adamが収束が速いにもかかわらず、なぜSGDに比べて一般化性能が劣るのかを理解すること。
• Adamのダイナミクスにおいて、適応的学習率とモーメンタムの果たす役割を明確に分離すること。
• 拡散理論を用いて、これらの要素が鞍点脱出および最小解選択に与える影響を分析すること。
• Adamの高速収束を維持しつつ、一般化性能を向上させる新しい最適化フレームワークの設計

提案手法

• 著者らは、Adamの確率的ダイナミクスをモデル化するための拡散理論的フレームワークを採用し、その行動を適応的学習率とモーメンタムの寄与に分解した。
• 彼らは、適応的学習率が鞍点からの効率的脱出を可能にするが、SGDとは異なり平坦な最小解を好まないことを形式的に証明した。
• 彼らは、モーメンタムが最小解選択に歪みをもたらさずに鞍点脱出を支援するドリフト効果を提供することを示した。
• この分析を基に、パラメータごとの適応的慣性を用いることでSGDの平坦な最小解選択傾向を模倣する新しい適応的最適化フレームワーク「Adaptive Inertia」を提案した。
• この手法は、パラメータごとに慣性を動的に調整する新たな更新則を導入し、高速収束と一般化の両立を実現した。
• 理論的分析により、Adaptive InertiaがSGDと同様に平坦な最小解を好むことが証明された。

実験結果

リサーチクエスチョン

• RQ1 Adamにおける適応的学習率とモーメンタムは、それぞれ鞍点脱出および最小解選択にどのように影響を与えるか？
• RQ2 Adamが収束が速いにもかかわらず、なぜSGDに比べて一般化性能が劣るのか？
• RQ3 適応的学習率による最小解選択への悪影響を、収束速度を犠牲にせずに軽減できるか？
• RQ4 Adamの高速収束とSGDの一般化性能を併せ持つ新しい最適化フレームワークを設計できるか？

主な発見

• 適応的学習率は鞍点からの効率的脱出を可能にするが、SGDとは異なり平坦な最小解を好まない。
• モーメンタムはドリフト効果により鞍点脱出を支援するが、平坦な最小解選択に顕著な影響を及ぼさない。
• 適応的学習率とモーメンタムの組み合わせにより、Adamは最適でない最小解選択を経て、一般化性能が劣化する。
• 提案手法であるAdaptive Inertiaは、SGDと同様に平坦な最小解を好むことが理論的に保証されつつ、高速収束を維持する。
• 広範な実験から、Adaptive InertiaがSGDおよび従来の適応的勾配法よりも顕著に優れた一般化性能を示した。
• 拡散理論に基づく理論的分析により、Adamの一般化ギャップを原理的かつ整合的に理解できるようになった。