[論文レビュー] Online Optimization : Competing with Dynamic Comparators

Ali Jadbabaie, Alexander Rakhlin+2 more|arXiv (Cornell University)|Jan 26, 2015

Advanced Bandit Algorithms Research参考文献 13被引用数 93

ひとこと要約

本稿では、比較列のパス変動（$C_T$）、損失関数の時間的変動性（$V_T$）、勾配の予測誤差（$D_T$）の3つの複雑さ指標に比例する動的リグレットバウンドを達成する、完全に自己適応的なオンライン最適化アルゴリズムを提案する。適応的ステップサイズを用いた楽観的ミラー降下フレームワークを活用することで、これらの量の事前知識がなくてもサブ線形リグレットを達成でき、静的および動的リグレット設定の両方で既存の境界を改善する。

ABSTRACT

Recent literature on online learning has focused on developing adaptive algorithms that take advantage of a regularity of the sequence of observations, yet retain worst-case performance guarantees. A complementary direction is to develop prediction methods that perform well against complex benchmarks. In this paper, we address these two directions together. We present a fully adaptive method that competes with dynamic benchmarks in which regret guarantee scales with regularity of the sequence of cost functions and comparators. Notably, the regret bound adapts to the smaller complexity measure in the problem environment. Finally, we apply our results to drifting zero-sum, two-player games where both players achieve no regret guarantees against best sequences of actions in hindsight.

研究の動機と目的

• 比較列の滑らかさと自然の損失関数の性質に適応するオンライン学習アルゴリズムの開発を目的とする。
• 既存の $C_T$、$V_T$、$D_T$ に依存するリグレット境界を、これらの測度の事前知識が不要な統一フレームワークに統合することを目的とする。
• 動的リグレットと適応的ステップサイズ、楽観的予測を組み合わせることで、完全情報設定においてサブ線形リグレット保証を確立することを目的とする。
• 損失関数の時間的構造を活用することで、i.i.d. でなく、かつ敵対的でもない環境へのオンライン最適化の適用範囲を拡張することを目的とする。
• 変化する2人零和ゲームにおいて、両プレイヤーが時間的に変化する最適戦略に対してノーリグレットを達成できることを示すこと

提案手法

• アルゴリズムは、動的環境における探索と活用のバランスを図るために、適応的ステップサイズを用いた楽観的ミラー降下（OMD）フレームワークを採用する。
• 勾配の予測機構を組み込み、$D_T = \sum_t \|\nabla f_t(x_t) - M_t\|_*^2$ に依存するリグレット境界を実現する。
• リグレット解析では、テレスコピング和とノルム不等式を用い、実際の損失と予測損失の差を評価する。特に $\ell_1$ および $\ell_\infty$ ノルムを用いる。
• 重要な要素として、$\log(T^2n)$ および $L$ に依存するステップサイズスケジュール $\eta_t$ を用いることで、$V_T$ が未知であっても収束を保証する。
• 報酬行列の時間的変動を捉えるために、$\sum_t \|f_t^\top A_t - f_{t-1}^\top A_{t-1}\|_\infty^2$ の境界を導出する。
• $C_T(u)$、$V_T$、$D_T$ に比例するリグレット境界を統一的な解析により導出し、最小の複雑さ指標に自動的に適応する

実験結果

リサーチクエスチョン

• RQ1 事前知識がなくても、比較列のパス変動 $C_T$ に適応する動的リグレットを達成できるか？
• RQ2 損失関数の時間的変動性 $V_T$ をどのように活用すれば、オンライン凸最適化におけるリグレット境界を改善できるか？
• RQ3 1つのアルゴリズムが、$C_T$、$V_T$、$D_T$ の複数の複雑さ指標に依存するリグレット境界を、完全に自己適応的に同時に達成できるか？
• RQ4 非i.i.d. 環境でコスト関数が変化する状況において、楽観的予測とリグレット最小化の相互作用はどのように働くか？
• RQ5 2人零和ゲームにおいて、この手法を用いることで両プレイヤーが時間的に変化する最適戦略に対してノーリグレットを達成できるか？

主な発見

• 提案手法は、$C_T$ の事前知識がなくても、$\mathcal{O}(\log(T^2n)(C_T + 2)(32L + o(1)))$ のオーダーの動的リグレット境界を達成する。
• リグレット境界は、$\sqrt{\sum_t \|f_t^\top A_t - f_{t-1}^\top A_{t-1}\|_\infty^2}$ に比例し、報酬行列の時間的変動を捉える。
• $V_T$ が小さい場合、リグレット境界は著しく改善され、ノイズのある勾配下でも $\mathcal{O}(T^{2/3}(V_T + 1)^{1/3})$ を達成する。これは既知の結果と一致するが、$V_T$ が事前に分かっている必要がない。
• 変化する2人零和ゲームにおいて、両プレイヤーが平均ミニマックス均衡に $C_T$ および $V_T$ に依存するレートで収束するため、サブ線形リグレットを達成する。
• 解析により、リグレット境界が $C_T$、$V_T$、$D_T$ の最小値に自動的に適応することが示され、先行研究より統一的かつ一貫した改善が得られる。
• 1人のプレイヤーが不正をしても、アルゴリズムの性能は頑健であり、リグレット境界はサブ線形のまま保たれ、相手の戦略変動と学習者の自身の予測誤差にのみ依存する。