[論文レビュー] Adaptivity and Optimality: A Universal Algorithm for Online Convex Optimization

Guanghui Wang, Shiyin Lu+1 more|arXiv (Cornell University)|May 15, 2019

Advanced Bandit Algorithms Research参考文献 19被引用数 5

ひとこと要約

本稿では、複数の専門家アルゴリズム（オンライン勾配降下法（OGD）、オンラインニュートンステップ（ONS）、強く凸なOGD）を、異なる学習率で適応的に組み合わせるメタアルゴリズムを用いて、リアルタイムで最良のパフォーマンスを示すものを追跡する、普遍的なオンライン凸最適化アルゴリズムであるMalerを提案する。Malerは、一般凸関数、指数的凸関数、強く凸関数それぞれに対して、最適なリグレットバウンド $O(\sqrt{T})$、$O(d\log T)$、$O(\log T)$ を達成する。また、MetaGradよりタイトなデータ依存リグレットバウンドを提供する。

ABSTRACT

In this paper, we study adaptive online convex optimization, and aim to design a universal algorithm that achieves optimal regret bounds for multiple common types of loss functions. Existing universal methods are limited in the sense that they are optimal for only a subclass of loss functions. To address this limitation, we propose a novel online method, namely Maler, which enjoys the optimal $O(\sqrt{T})$, $O(d\log T)$ and $O(\log T)$ regret bounds for general convex, exponentially concave, and strongly convex functions respectively. The essential idea is to run multiple types of learning algorithms with different learning rates in parallel, and utilize a meta algorithm to track the best one on the fly. Empirical results demonstrate the effectiveness of our method.

研究の動機と目的

• 未知の損失関数クラスに適応するが、事前に知識が得られない普遍的なオンライン凸最適化アルゴリズムの開発。
• 既存の普遍的手法が一部の損失関数クラスでのみ最適であるという制限を克服すること。
• 一般凸関数、指数的凸関数、強く凸関数という3つの主要な関数クラスにおいて、同時に最適なリグレットバウンドを達成すること。
• リアルタイムで最良の専門家アルゴリズムと学習率を選択するメタ学習フレームワークの設計。

提案手法

• Malerは、複数の専門家アルゴリズム（凸OGD、ONS、強く凸OGD）を並列に実行し、それぞれが異なる学習率スケジュールを持つ。
• メタアルゴリズムを用いて、専門家の予測の重み付き組み合わせを維持し、累積的パフォーマンスに基づいて最良の専門家を動的に追跡する。
• 専門家間のリグレット最小化フレームワークを用い、計算効率を確保するため、専門家の数を $O(\log T)$ の対数的数に制限する。
• ONSのヘシアンに類似する行列を用いた重み付き射影更新ルールと、OGDの変種のための標準的勾配更新を組み合わせる。
• MetaGradのものより常にタイトで、有利な状況ではさらにタイトな、新たなデータ依存リグレットバウンドを導出する。
• 理論的分析により、Malerが3つの関数クラスすべてにおいてミニマックス最適なリグレットバウンドを達成することが示された。

実験結果

リサーチクエスチョン

• RQ1 1つのオンラインアルゴリズムが、一般凸関数、指数的凸関数、強く凸関数の3つすべてに対して最適なリグレットバウンドを同時に達成できるか？
• RQ2 損失構造の事前知識がなくても、未知の関数クラスに適応できる普遍的手法は存在するか？
• RQ3 データ依存設定においてリグレットバウンドを改善しつつ、最悪ケースの最適性を維持できるか？
• RQ4 異なる学習率とタイプの複数の専門家アルゴリズムを組み合わせることで、既存のメタアルゴリズムを上回るパフォーマンスが得られるか？

主な発見

• Malerは、一般凸関数に対して最適な $O(\sqrt{T})$ のリグレットバウンドを達成し、ミニマックス下界と一致する。
• 指数的凸関数に対しては $O(d\log T)$ のリグレットバウンドを達成し、オンラインニュートンステップ（ONS）の最先端性能と一致する。
• 強く凸関数に対しては、最適な $O(\log T)$ のリグレットバウンドを達成し、MetaGradの $O(d\log T)$ のバウンドを改善する。
• 有利なデータ環境下では、Malerのデータ依存リグレットバウンドはMetaGradのものより明確にタイトであることが保証されている。
• 合成データおよび実世界のデータセット（a9a、オンライン回帰）における実験結果から、MalerはMetaGradよりも高速に収束することが示された。
• 本手法は $O(\log T)$ の専門家複雑度を維持しており、計算効率を保ちながら完全な適応性と最適性を達成している。