[論文レビュー] Combining Adversarial Guarantees and Stochastic Fast Rates in Online Learning

Wouter M. Koolen, Peter Grünwald+1 more|arXiv (Cornell University)|May 20, 2016

Advanced Bandit Algorithms Research被引用数 22

ひとこと要約

本稿では、Squint や MetaGrad といったオンライン学習アルゴリズムが、第二階層の個別シーケンスレグレット保証を活用することで、スチューディック環境下で高速なレグレットレートを達成できることを示している。この保証は、ベルンシュタイン条件のパラメータ κ ∈ [0,1] に自動的に適合する。主な貢献は、これらのアルゴリズムが、やや強いスチューディック仮定の下で、期待値および高確率的にも T^{(1−κ)/(2−κ)} 階のレグレットレートを達成することを証明したことである。

ABSTRACT

We consider online learning algorithms that guarantee worst-case regret rates in adversarial environments (so they can be deployed safely and will perform robustly), yet adapt optimally to favorable stochastic environments (so they will perform well in a variety of settings of practical importance). We quantify the friendliness of stochastic environments by means of the well-known Bernstein (a.k.a. generalized Tsybakov margin) condition. For two recent algorithms (Squint for the Hedge setting and MetaGrad for online convex optimization) we show that the particular form of their data-dependent individual-sequence regret guarantees implies that they adapt automatically to the Bernstein parameters of the stochastic environment. We prove that these algorithms attain fast rates in their respective settings both in expectation and with high probability.

研究の動機と目的

• オンライン学習における悪意的ロバストネスとスチューディック適応性を統合すること。
• 第二階層のレグレット保証が、ベルンシュタイン条件のパラメータ κ に自動的に適合することを示すこと。
• Squint や MetaGrad といったアルゴリズムについて、やや強いスチューディック仮定の下で、期待値および高確率的にも高速なレグレットレートを確立すること。
• 中央条件とベルンシュタイン条件を用いた、オンライン学習における高速レート分析の統一。

提案手法

• Squint（Hedge設定）および MetaGrad（OCO）の第二階層の個別シーケンスレグレットバウンドを基盤として用いる。
• ベルンシュタイン条件（または一般化されたツヤバックォフマージン条件）を用い、パラメータ κ ∈ [0,1] でスチューディックフレンドリーさを定量化する。
• 損失が有界である場合に、中央条件をベルンシュタイン条件の同値な特徴づけとして用いる。
• マーティングレート型の第二階層項を制御するため、正規化されたキュムラント生成関数 ǫ(η) を導入する。
• 超過損失の二乗と修正された指数モーメントを結ぶ、精密化された指数不等式（補題 8）を導出する。
• 最終的なレグレットバウンドを最適化するために、学習率パラメータ γ を調整し、ベルンシュタイン条件を用いて ǫ(2γ) を γ の多項式で抑え込む。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習アルゴリズムは、最悪ケースのロバストネスを維持しながら、有利なスチューディック環境に適応できるか？
• RQ2 ベルンシュタイン条件のパラメータ κ に対して、第二階層のレグレット保証が高速レートをもたらすか？
• RQ3 高速レグレットレートは、期待値に加え、高確率的にも確立可能か？
• RQ4 損失が有界である場合、中央条件とベルンシュタイン条件は同値であるか？ その同値性は解析にどのように活用できるか？
• RQ5 Squint や MetaGrad のようなアルゴリズムの適応的挙動は、ベルンシュタインパラメータ κ と正式に結びつけられるか？

主な発見

• ベルンシュタイン条件の下で、Squint と MetaGrad は期待値および高確率的にも T^{(1−κ)/(2−κ)} 階のレグレットレートを達成する。
• κ ∈ [0,1] に対して、レグレットバウンドは O(T^{(1−κ)/(2−κ)}) であり、κ=0 のとき √T の最悪ケースレート、κ=1 のとき二重対数的レートに回復する。
• 解析により、第二階層のレグレット保証が、データ分布の事前知識がなくてもベルンシュタインパラメータ κ に自動的に適合することを示した。
• ベルンシュタイン条件と中央条件の同値性を活用し、正規化されたキュムラント生成関数 ǫ(η) を用いて第二階層項を制御した。
• 精密化された指数不等式（補題 8）により、レグレット分解における二次項の制御が厳密に可能になった。
• 最終的なレグレットバウンドは、パラメータ γ の調整により最適化され、κ およびアルゴリズム固有の複雑度項 KT にきめ細かく依存するようになった。