[論文レビュー] MetaGrad: Adaptation using Multiple Learning Rates in Online Learning

Tim van Erven, Wouter M. Koolen+1 more|arXiv (Cornell University)|Feb 12, 2021

Advanced Bandit Algorithms Research参考文献 47被引用数 6

ひとこと要約

MetaGrad は、メタアルゴリズムを用いて複数の学習率を動的に組み合わせることで、一般凸関数およびより単純な損失関数型（指数的凸性、強い凸性、Bernstein 条件を満たす関数など）において高速収束を達成する、新しい適応的オンライン学習アルゴリズムである。勾配の大きさに対して頑健性を保ちながら、O(√T ln ln T) および O(√(Vᵤᵀ d ln(T/d)) + d ln(T/d)) のレグレットバウンドを達成する。ここで Vᵤᵀ は予測誤差の分散を測る。これは、ベンチマークタスクにおいて OGD や AdaGrad を上回る性能を示す。

ABSTRACT

We provide a new adaptive method for online convex optimization, MetaGrad, that is robust to general convex losses but achieves faster rates for a broad class of special functions, including exp-concave and strongly convex functions, but also various types of stochastic and non-stochastic functions without any curvature. We prove this by drawing a connection to the Bernstein condition, which is known to imply fast rates in offline statistical learning. MetaGrad further adapts automatically to the size of the gradients. Its main feature is that it simultaneously considers multiple learning rates, which are weighted directly proportional to their empirical performance on the data using a new meta-algorithm. We provide three versions of MetaGrad. The full matrix version maintains a full covariance matrix and is applicable to learning tasks for which we can afford update time quadratic in the dimension. The other two versions provide speed-ups for high-dimensional learning tasks with an update time that is linear in the dimension: one is based on sketching, the other on running a separate copy of the basic algorithm per coordinate. We evaluate all versions of MetaGrad on benchmark online classification and regression tasks, on which they consistently outperform both online gradient descent and AdaGrad.

研究の動機と目的

• 損失関数クラスの事前知識がなくても、有利な損失構造を自動で活用できる適応的オンライン学習アルゴリズムの開発。
• 一般凸関数、指数的凸関数、強い凸関数、および Bernstein 条件を満たす確率的関数という多様な損失タイプの性能を、一つのフレームワークに統合すること。
• 経験的性能に基づいて複数の学習率の重みを動的に重み付けすることで、レグレットバウンドの改善。
• 線形時間更新が可能なスケーラブルなバージョンの開発—特に高次元設定に適した座標ごとの適応版およびスケッチベースのバージョンを含む。
• 標準的なオンライン分類および回帰ベンチマークにおいて、MetaGrad が OGD や AdaGrad を上回ることを実験的に検証すること。

提案手法

• MetaGrad は、複数の学習率（η）を並列に維持し、それぞれを別々のオンライン勾配降下更新に適用する。
• 経験的性能に比例して重みを割り当てるメタアルゴリズムを用い、各学習率の重みを決定する。
• 累積損失の重み付き平均を用いて、レグレットが小さい学習率を優遇する形で、学習率の重みを動的に調整する。
• 3 種類のバリエーションを提案：フル行列（ヘッシアンの正確な近似）、座標ごとの適応（各座標ごとの適応）、スケッチベース（高次元における低ランク近似）。
• レグレット解析により、勾配が Bernstein 条件を満たす場合、MetaGrad が O(√(Vᵤᵀ d ln(T/d))) の高速レグレットを達成することを示した。
• 一般凸関数に対しても、曲率が存在しない場合でも、O(√T ln ln T) のレグレットバウンドを保証し、頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 事前知識なしに、指数的凸性、強い凸性、および曲率に依存しない確率的関数を含む多様な損失関数型に対して、同時に高速レートを達成できるオンライン学習アルゴリズムは存在するか？
• RQ2 複数の学習率をどのように適応的に組み合わせることで、異なるデータ環境下でのレグレット性能を向上させられるか？
• RQ3 Bernstein 条件とオンライン学習における高速収束の理論的関係は何か？ そして、それをアルゴリズム的にどのように活用できるか？
• RQ4 理論的保証を維持しながらも、高次元における線形時間更新を達成できるスケーラブルなアルゴリズムのバリエーションは設計可能か？
• RQ5 学習率の適応的重み付けは、OGD や AdaGrad といった従来手法に比べ、一貫した実験的性能向上をもたらすか？

主な発見

• MetaGrad は、一般凸関数に対して O(√T ln ln T) のレグレットバウンド、有利な損失関数型に対しては O(√(Vᵤᵀ d ln(T/d)) + d ln(T/d)) のバウンドを達成する。ここで Vᵤᵀ は予測誤差の分散を測る。
• すべてのベンチマークデータセットおよび損失関数において、MetaGrad は OGD や AdaGrad を上回り、すべてのベースラインより低いレグレットを達成した。
• 54回の実験のうち14回で MetaGrad が最小のレグレットを達成し、18回のケースで AdaGrad より優れた性能を示した。中間値のレグレット比は AdaGrad に対して 1.01〜1.15 の範囲であった。
• フル行列版とスケッチベース版の MetaGrad は、座標ごとの適応版と同等の性能を示し、低次元および中次元タスクではフルバージョンが最も優れた結果を達成した。
• MetaGrad の実験的優位性は、最適な学習率にうまく適応できることに起因する。動的エキスパート選択による非滑らかさが確認されたチューニングカーブの分析により、その妥当性が裏付けられた。
• 仮想のチューニング実験では、MetaGrad がハイパーパramータチューニング済み AdaGrad と同等またはそれを上回る性能を示した。これは、理論的保証を備えた実用的導入の強力な候補であることを示唆している。