[論文レビュー] A new regret analysis for Adam-type algorithms

Ahmet Alacaoglu, Yura Malitsky+2 more|arXiv (Cornell University)|Mar 21, 2020

Advanced Bandit Algorithms Research参考文献 16被引用数 5

ひとこと要約

この論文は、理論的分析においてβ₁ → 0を要請するが実際には定数β₁が用いられるAdam型最適化アルゴリズムにおける理論と実装のギャップを、定数β₁を用いて最適なO(√T)のデータ依存レジレットバウンドを達成する、新しいレジレット解析フレームワークを導入することで解消する。従来の分析ではβ₁ → 0が必須であったが、本研究ではその要請を撤廃した。この手法により、AMSGrad、AdamNC、Sadamに対し、よりタイトで定数β₁を保つレジレット保証が可能となり、零番目の順序および非凸設定へも拡張可能で、より良いバウンドが得られる。

ABSTRACT

In this paper, we focus on a theory-practice gap for Adam and its variants (AMSgrad, AdamNC, etc.). In practice, these algorithms are used with a constant first-order moment parameter $β_{1}$ (typically between $0.9$ and $0.99$). In theory, regret guarantees for online convex optimization require a rapidly decaying $β_{1} o0$ schedule. We show that this is an artifact of the standard analysis and propose a novel framework that allows us to derive optimal, data-dependent regret bounds with a constant $β_{1}$, without further assumptions. We also demonstrate the flexibility of our analysis on a wide range of different algorithms and settings.

研究の動機と目的

• Adam型アルゴリズムにおける継続的な理論と実装のギャップに対処すること。理論ではβ₁ → 0を要請するが、実際には定数β₁が用いられる。
• 最適なバウンドを得るためにβ₁ → 0を必要としていた、従来のレジレット解析の欠陥を特定すること。
• 追加の仮定なしに、定数β₁を用いて最適なO(√T)のレジレットバウンドを達成できる、新しい分析フレームワークを開発すること。
• フレームワークの柔軟性を、凸、非凸、零番目の順序最適化設定のすべてにわたって示すこと。
• AMSGrad、AdamNC、Sadamに対して、初めて定数β₁を用いた最適なレジレットバウンドを提供すること。

提案手法

• 従来の解析が抱える技術的欠陥を回避する新しいレジレット解析フレームワークを提案し、定数β₁の使用を可能にする。
• 重み付きノルムと射影を用いた座標ごとの解析を導入し、勾配更新のより良い制御を実現する。
• 更新ステップサイズとモーメンタム項に対して、ヤングの不等式およびノルム不等式を活用した洗練されたバウンド技術を採用する。
• 第二階のモーメントベクトルv_tの逆平方根の変化を追跡することで、データ依存のレジレットバウンドを導出する。
• AMSGrad、AdamNC、Sadamといった複数の変種にこのフレームワークを適用し、一貫した改善を示す。
• 零番目の順序（バンディット）および非凸設定へも分析を拡張し、よりシンプルな証明で改善または同等のバウンドを達成する。

実験結果

リサーチクエスチョン

• RQ1 なぜ従来のAdam型アルゴリズムのレジレット解析では、実際には定数β₁が標準的であるにもかかわらず、β₁ → 0を要請するのか？
• RQ2 オンライン凸最適化において、定数β₁を用いて最適なO(√T)のレジレットバウンドを達成できるか？
• RQ3 なぜ従来の解析に内在する構造的欠陥が、β₁ → 0の要請を生じさせるのか？
• RQ4 新しいフレームワークは非凸および零番目の順序最適化設定へ一般化可能か？
• RQ5 定数β₁を用いた改善されたバウンドは、定数やTへの依存性において、既存の結果を上回るか、同等か？

主な発見

• 本研究は、定数β₁を用いてAMSGradおよびAdamNCに対して、初めて最適なO(√T)のレジレットバウンドを確立し、理論と実装のギャップを解消した。
• 強い凸性を満たす変種Sadamに対しても、定数β₁を用いてデータ依存の対数的レジレットバウンドを導出し、これも最適である。
• 零番目の順序Adam変種に対して、従来はβ₁ ∼ 1/tを要請していたが、本研究では定数β₁を許容する。
• 非凸設定では、よりシンプルな証明で既存の結果を回復し、わずかに改善された定数を得た。
• 導出されたバウンドはデータ依存であり、∥v₀⁻¹/²∥₁およびTに依存し、β₁およびβ₂への明示的な依存性を有する。
• フレームワークは頑健で柔軟性に富み、幅広いアダプティブ最適化アルゴリズムに適用可能である。