[論文レビュー] FastAdaBelief: Improving Convergence Rate for Belief-based Adaptive Optimizers by Exploiting Strong Convexity

Yangfan Zhou, Kaizhu Huang+4 more|arXiv (Cornell University)|Apr 28, 2021

Stochastic Gradient Optimization Techniques参考文献 35被引用数 16

ひとこと要約

本稿では、強い凸性を踏まえた特化したステップサイズと曲率に配慮したモーメンタムを用いることで、強い凸性と非凸性の両設定において収束速度を向上させる、新しい自己適応最適化手法FastAdaBeliefを提案する。本手法は、データ依存のO(log T)レグルレーションバウンドを達成しており、AdaBeliefのO(√T)と比べて著しく速い。また、一般化性能を維持したまま、画像分類および言語モデリングのベンチマークにおいて、すべての主流の最適化手法を上回る訓練速度とテスト精度を達成する。

ABSTRACT

AdaBelief, one of the current best optimizers, demonstrates superior generalization ability compared to the popular Adam algorithm by viewing the exponential moving average of observed gradients. AdaBelief is theoretically appealing in that it has a data-dependent $O(\sqrt{T})$ regret bound when objective functions are convex, where $T$ is a time horizon. It remains however an open problem whether the convergence rate can be further improved without sacrificing its generalization ability. %on how to exploit strong convexity to further improve the convergence rate of AdaBelief. To this end, we make a first attempt in this work and design a novel optimization algorithm called FastAdaBelief that aims to exploit its strong convexity in order to achieve an even faster convergence rate. In particular, by adjusting the step size that better considers strong convexity and prevents fluctuation, our proposed FastAdaBelief demonstrates excellent generalization ability as well as superior convergence. As an important theoretical contribution, we prove that FastAdaBelief attains a data-dependant $O(\log T)$ regret bound, which is substantially lower than AdaBelief. On the empirical side, we validate our theoretical analysis with extensive experiments in both scenarios of strong and non-strong convexity on three popular baseline models. Experimental results are very encouraging: FastAdaBelief converges the quickest in comparison to all mainstream algorithms while maintaining an excellent generalization ability, in cases of both strong or non-strong convexity. FastAdaBelief is thus posited as a new benchmark model for the research community.

研究の動機と目的

• AdaBeliefの収束速度を、強い凸性の設定において一般化性能を損なわずにさらに向上させられるかという未解決問題に取り組む。
• 強い凸性を活用することで、既存の信念ベースの自己適応手法よりも速い収束を達成する自己適応最適化手法を設計する。
• 強い凸性の下で、提案手法のよりタイトなレグルレーションバウンドを理論的に証明する。
• FastAdaBeliefの優位性を、強い凸性および非凸性の深層学習シナリオの両方で実証的に検証する。

提案手法

• 強い凸性を明示的に反映した修正されたステップサイズを導入し、振動を低減し収束を加速する。
• AdaBeliefの2次モーメンタムを、ヘッセ行列に類似した勾配の構造に適応する曲率に配慮した対角行列に置き換える。
• モーメンタム更新に消える係数δ/tを採用し、理想的なステップサイズをよりよく近似し、学習を安定化する。
• 強い凸関数に対して、O(log T)の新しいデータ依存レグルレーションバウンドを導出する。これはAdaBeliefのO(√T)を改善する。
• 勾配の信念と強い凸性の情報を組み合わせた、新たな自己適応学習率メカニズムを設計し、収束と一般化のバランスを取る。
• CNNおよびLSTMを用いた標準的な深層学習タスクに本手法を適用し、複数のデータセットにわたる広範なアブレーションと比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 AdaBeliefの収束速度を、強い凸最適化において一般化性能を低下させることなく向上させられるか。
• RQ2 強い凸性を明示的に活用する自己適応最適化手法の理論的レグルレーションバウンドは何か。
• RQ3 FastAdaBeliefは、SAdamおよび他のAdam変種と比較して、収束速度とテスト性能の面でどのように異なるか。
• RQ4 提案手法は、非凸な深層学習設定においても速い収束を維持するか。

主な発見

• FastAdaBeliefは、強い凸設定において、データ依存のレグルレーションバウンドO(log T)を達成しており、これはAdaBeliefのO(√T)と比べて著しくタイトである。
• CIFAR-10では、FastAdaBeliefはすべてのベースラインを上回り、200エポック後に最高のテスト精度（96.0%）と最小の損失（0.15）を達成した。
• Penn Treebankにおける言語モデリングでは、3層LSTMで61.21の最小パープレキシティを達成し、Adam（64.71）とAdaBelief（61.23）を上回った。
• SVHNおよびCIFAR-100では、すべての実験でFastAdaBeliefが最も速く収束し、すべてのイテレーションで最小の訓練損失を記録した。
• 速い収束にもかかわらず、FastAdaBeliefは優れた一般化性能を維持しており、テスト精度においてSGDやAdaBeliefと同等またはそれを上回った。
• 本手法は、DenseNet-121、ResNet-34、VGG-11など多様なアーキテクチャおよびタスクにおいても頑健であることが示され、新たなベンチマーク最適化手法としての地位を確立した。