[論文レビュー] Online Learning: Stochastic and Constrained Adversaries

Alexander Rakhlin, Karthik Sridharan+1 more|arXiv (Cornell University)|Apr 27, 2011

Advanced Bandit Algorithms Research参考文献 19被引用数 12

ひとこと要約

本稿は、i.i.d. スタティスティカルな設定と最悪ケースのアドバーシャル設定の間を補間するハイブリッドなデータ仮定の下でオンライン学習の統一的ミニマックス枠組みを導入する。逐次的対称化と分布依存のラデマッハ複雑度を活用することで、変動型のレジレットバウンドを導出し、i.i.d. アドバーシャルの下でオンライン学習とバッチ学習の等価性を確立するとともに、無限大のリトルスタイン次元を持つ半空間が滑らかなノイズの下では学習可能であることを示している。

ABSTRACT

Learning theory has largely focused on two main learning scenarios. The first is the classical statistical setting where instances are drawn i.i.d. from a fixed distribution and the second scenario is the online learning, completely adversarial scenario where adversary at every time step picks the worst instance to provide the learner with. It can be argued that in the real world neither of these assumptions are reasonable. It is therefore important to study problems with a range of assumptions on data. Unfortunately, theoretical results in this area are scarce, possibly due to absence of general tools for analysis. Focusing on the regret formulation, we define the minimax value of a game where the adversary is restricted in his moves. The framework captures stochastic and non-stochastic assumptions on data. Building on the sequential symmetrization approach, we define a notion of distribution-dependent Rademacher complexity for the spectrum of problems ranging from i.i.d. to worst-case. The bounds let us immediately deduce variation-type bounds. We then consider the i.i.d. adversary and show equivalence of online and batch learnability. In the supervised setting, we consider various hybrid assumptions on the way that x and y variables are chosen. Finally, we consider smoothed learning problems and show that half-spaces are online learnable in the smoothed model. In fact, exponentially small noise added to adversary's decisions turns this problem with infinite Littlestone's dimension into a learnable problem.

研究の動機と目的

• i.i.d. 統計的学習と最悪ケースのオンライン学習の間のギャップを、中間のデータ仮定を分析することで埋める。
• 制限付きアドバーシャル、特に確率的および滑らかなモデルを含むレジレット最小化の一般理論的枠組みを構築する。
• アドバーシャルがi.i.d. データを生成する場合に、オンライン学習とバッチ学習の等価性を確立する。
• 入力と出力変数が異なる仮定の下で生成されるハイブリッドモデルを分析する。
• リトルスタイン次元が無限大であっても、滑らかなノイズの下では半空間がオンライン学習可能になることを示す。

提案手法

• アドバーシャルの行動集合が制限されたオンライン学習のミニマックス定式化を提案し、i.i.d. から最悪ケースまでのスケールで分析可能にする。
• 逐次的対称化を用いて導出された、制限付きアドバーシャルを持つ逐次ゲームに特化した分布依存のラデマッハ複雑度を導入する。
• i.i.d. ラデマッハラベルを用いた確率過程の構成により、ゲームのミニマックス値の下界を導出し、これとラデマッハカオス過程の期待上界を関連付ける。
• 条件付き分布とラベル依存性の構造を分析することで、変動型のレジレットバウンドを導出する。
• ミニマックスレジレットがゼロに収束するための必要十分条件として、関数族が有限の組合せ次元を持つことであることを示すことにより、i.i.d. データ下でのオンライン学習とバッチ学習の等価性を確立する。
• アドバーシャルの意思決定に指数的に小さなノイズを追加する（滑らかなモデル）ことで、無限大のリトルスタイン次元を持つ半空間がオンライン学習可能になることを示す。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. と最悪ケースの中間のデータ仮定を扱う統一的フレームワークを構築できるか？
• RQ2 アドバーシャルがi.i.d. データを生成する場合、オンライン学習とバッチ学習の関係は何か？
• RQ3 入力と出力が異なる仮定の下で生成されるハイブリッドモデルにおいて、ミニマックスレジレットはどのように振る舞うか？
• RQ4 制限付きアドバーシャルを持つ逐次ゲームに、ラデマッハ複雑度の概念を拡張できるか？
• RQ5 小さなノイズ（滑らかなモデル）を追加することで、かつて学習不能であった問題（無限大のリトルスタイン次元を持つ半空間など）がオンライン学習で可能になるか？

主な発見

• i.i.d. アドバーシャル下でのミニマックスレジレットは、関数族が有限の組合せ次元を持つ場合にかつその場合にのみゼロに収束する。これは古典的な統計的学習理論の結果と一致する。
• 分布依存のラデマッハ複雑度が、データ仮定の全スケールにわたり定義され、変動型のレジレットバウンドを可能にする。
• 本稿では、i.i.d. データ下でオンライン学習とバッチ学習の等価性を確立し、両者で同じミニマックスレジレットレートが得られることを示している。
• 滑らかなモデル（アドバーシャルが指数的に小さなノイズを追加）では、リトルスタイン次元が無限大であっても半空間がオンライン学習可能になる。
• ゲームのミニマックス値は、関数族上でのラデマッハ過程の期待上界によって下界が与えられ、これはi.i.d. ラベル仮定下で分布依存のラデマッハ複雑度に等しいことが示された。
• 本フレームワークは、最悪ケース、i.i.d.、滑らかなモデルを1つのミニマックス解析で統一し、構造的アドバーシャルを持つ逐次的意思決定問題を分析する一般化されたツールを提供している。