[論文レビュー] Online convex optimization and no-regret learning: Algorithms, guarantees and applications

E. Veronica Belmega, Panayotis Mertikopoulos+2 more|arXiv (Cornell University)|Apr 12, 2018

Advanced Bandit Algorithms Research参考文献 28被引用数 37

ひとこと要約

本チュートリアルでは、オンライン凸最適化（OCO）とノーレグレット学習を、特に信号処理およびビッグデータ応用分野における不確実性下での意思決定のための頑健なフレームワークとして提示する。性能を固定された最良の行動（後悔視点）と比較することで、サブラインアーな後悔を達成するアルゴリズムを紹介し、ダブルイング・トリックや変動予算に制限のある動的後悔解析といった技術により理論的保証を提供する。

ABSTRACT

Spurred by the enthusiasm surrounding the "Big Data" paradigm, the mathematical and algorithmic tools of online optimization have found widespread use in problems where the trade-off between data exploration and exploitation plays a predominant role. This trade-off is of particular importance to several branches and applications of signal processing, such as data mining, statistical inference, multimedia indexing and wireless communications (to name but a few). With this in mind, the aim of this tutorial paper is to provide a gentle introduction to online optimization and learning algorithms that are asymptotically optimal in hindsight - i.e., they approach the performance of a virtual algorithm with unlimited computational power and full knowledge of the future, a property known as no-regret. Particular attention is devoted to identifying the algorithms' theoretical performance guarantees and to establish links with classic optimization paradigms (both static and stochastic). To allow a better understanding of this toolbox, we provide several examples throughout the tutorial ranging from metric learning to wireless resource allocation problems.

研究の動機と目的

• 信号処理および機械学習分野の研究者に対して、オンライン凸最適化とノーレグレット学習のやさしいが厳密な導入を提供すること。
• 将来の損失関数の完全な知識が得られないという最小限の仮定のもとで、オンラインアルゴリズムの理論的性能保証（特にサブラインアーな後悔バウンド）を確立すること。
• オンライン最適化を静的および確率的最適化の古典的枠組みと結びつけ、非定常的かつ敵対的な環境におけるその利点を強調すること。
• リアルタイムでの適応が不可欠な分野、例えば無線リソース割り当て、メトリック学習、マルチメディアインデキシングにおける実用的応用を示すこと。
• 静的後悔と動的後悔の違いを明確にし、サブラインアーな動的後悔が達成可能な条件を分析すること。

提案手法

• ハナンの後悔定義を用いて、オンラインアルゴリズムの性能を将来の損失関数を完全に把握した仮想的な最適固定方策と比較する。
• ダブルイング・トリックを用いて、固定区間のノーレグレットアルゴリズムを、後悔が有界である任意の時点での実行が可能なアルゴリズムに変換し、O(√T)の後悔（普遍的定数倍の誤差内）を達成する。
• O(W^α)（α ∈ (0,1)）のべき則スケーリングに従うアルゴリズムの後悔バウンドを分析し、ダブルイング・トリックがサブラインアーな後悔を保持することを示す。このとき、普遍的乗数因子はαにのみ依存する。
• 動的後悔を、各時刻での即時の損失とその時点での最良の行動との差の和として定義する性能指標として導入する。
• 損失関数の非定常性を特徴付けるための変動予算（VB_T）の概念を適用し、VB_T = o(T) のときサブラインアーな動的後悔が達成可能であることを示す。
• 静的後悔の保証を活用するリスタートに基づくアルゴリズムを提案し、変動予算が有界な条件下でサブラインアーな動的後悔を達成する。

実験結果

リサーチクエスチョン

• RQ1 任意の非確率的かつ敵対的な損失関数に対しても、オンラインアルゴリズムがどのようにサブラインアーな後悔を達成できるか。
• RQ2 将来の損失関数の完全な知識が得られない状況下で、オンライン学習アルゴリズムに対してどのような理論的保証を導出できるか。
• RQ3 どのような条件下でサブラインアーな動的後悔が達成可能であり、そのようなアルゴリズムはどのように設計できるか。
• RQ4 ダブルイング・トリックは、固定区間のノーレグレットアルゴリズムを、保証された性能バウンドを持つ任意の時点での実行が可能なアルゴリズムにどのように変換するか。
• RQ5 変動予算が、非定常環境下での動的後悔最小化の可能性をどのように決定づけるか。

主な発見

• ダブルイング・トリックにより、任意の時点での実行が可能なオンラインアルゴリズムが得られ、その後悔は固定区間の後悔バウンドの最大で 2/(√2−1) ≈ 3.41 倍に抑えられる。この値は窓サイズに依存しない。
• 後悔が O(W^α)（α ∈ (0,1)）に比例するアルゴリズムに対して、ダブルイング・トリックにより、普遍的定数（αにのみ依存）を除き、任意の時点での後悔バウンドが O(T^α) に抑えられる。
• 動的後悔 R*T は常に静的後悔 RT 以上であるため、最適行動が時間とともに変化する場合には根本的な性能差が生じる。
• 変動予算が Ω(T) の敵対的アドバーサリーに対しては、サブラインアーな動的後悔は達成不可能であり、アドバーサリーが R*T = Ω(T) を強制できる。
• 変動予算 VB_T = ∑‖ℓ_t − ℓ_{t+1}‖ が T に対してサブラインアーである場合、静的後悔の保証を活用するリスタートベースのアルゴリズムにより、サブラインアーな動的後悔が達成可能である。
• このフレームワークは、データが非定常的でフィードバックが限られる実世界の信号処理問題（例：無線リソース割り当て、メトリック学習）に適用可能である。