[論文レビュー] AEGD: Adaptive Gradient Decent with Energy.

Hailiang Liu, Xuping Tian|arXiv (Cornell University)|Oct 10, 2020

Stochastic Gradient Optimization Techniques参考文献 57被引用数 4

ひとこと要約

AEGDは、任意のステップサイズに関係なく無条件エネルギー安定性を保証し、大規模なステップサイズでも高速収束を実現する、新しい1次順序最適化アルゴリズムである。最小限のハイパーパrameterチューニングで済み、深層ニューラルネットワークにおける一般化性能において、モーメンタム付きSGDを上回り、初期条件に対して頑健である。

ABSTRACT

In this paper, we propose AEGD, a new algorithm for first-order gradient-based optimization of stochastic objective functions, based on adaptive updates of quadratic energy. As long as an objective function is bounded from below, AEGD can be applied, and it is shown to be unconditionally energy stable, irrespective of the step size. In addition, AEGD enjoys tight convergence rates, yet allows a large step size. The method is straightforward to implement and requires little tuning of hyper-parameters. Experimental results demonstrate that AEGD works well for various optimization problems: it is robust with respect to initial data, capable of making rapid initial progress, shows comparable and most times better generalization performance than SGD with momentum for deep neural networks. The implementation of the algorithm can be found at this https URL.

研究の動機と目的

• ステップサイズに依存しない無条件エネルギー安定性を保証する1次順序最適化アルゴリズムの開発。
• 大きなステップサイズでも収束を高速化し、初期データに対して頑健であることを実現。
• SGD with momentumなどの従来手法と比較して、ハイパーパrameterチューニングの必要を最小限に抑えること。
• 標準的な確率的勾配法と比較して、深層ニューラルネットワークにおける一般化性能を向上させること。

提案手法

• AEGDは、最適化の過程で変化する二次エネルギー関数に基づく適応的更新を導入する。
• エネルギー関数は動的に調整され、目的関数が下から有界であることを保証する。
• アルゴリズムはステップサイズに依存せずにエネルギー安定性を保証し、大きな学習率の使用を可能にする。
• エネルギー適応を組み込んだ勾配ベースの更新ルールを用い、収束を加速する。
• 最小限のハイパーパrameter設定で実装が簡単なように設計されている。
• エネルギー適応メカニズムにより、初期化に対して頑健であり、最適化の初期段階での迅速な進行が可能である。

実験結果

リサーチクエスチョン

• RQ1 1次順序最適化手法は、ステップサイズにかかわらず無条件エネルギー安定性を達成できるか？
• RQ2 適応的エネルギーに基づく更新は、深層ニューラルネットワークにおける収束速度と一般化性能を向上させるか？
• RQ3 AEGDは、大きなステップサイズでも発散を回避しながら性能を維持できるか？
• RQ4 初期化に対する頑健性および一般化性能の観点から、AEGDはモーメンタム付きSGDと比較してどう異なるか？

主な発見

• AEGDは無条件エネルギー安定性を有し、任意のステップサイズで安定性を保つため、理論的に顕著な利点を有する。
• 収束レートがきわめてタイトで、最適化の初期段階での迅速な進行が可能である。
• AEGDは、深層ニューラルネットワークにおいて、モーメンタム付きSGDと同等またはそれ以上の一般化性能を示す。
• 初期データに対して頑健であり、さまざまな初期化設定でも一貫したパフォーマンスを発揮する。
• AEGDは最小限のハイパーパrameterチューニングで済むため、実世界の深層学習応用において実用的である。
• 実装は簡単で、公開されており、再現性と採用を支援する。