[論文レビュー] Algorithmic Chaining and the Role of Partial Feedback in Online Nonparametric Learning

Nicolò Cesa‐Bianchi, Pierre Gaillard+2 more|arXiv (Cornell University)|Feb 27, 2017

Advanced Bandit Algorithms Research被引用数 12

ひとこと要約

本稿は、部分的フィードバック下でのオンライン非パラメトリック学習に対して、より豊かなフィードバック構造を活用してレグレットバウンドをタイトにするアルゴリズム的チェイニングフレームワークを導入する。分散制御のためのリザーブプライスの離散化とEWAに基づく推定を活用することで、標準的なExp3と比較してより良いレグレットスケーリングを達成し、有界損失仮定の下で理論的保証を提供する。

ABSTRACT

We investigate contextual online learning with nonparametric (Lipschitz) comparison classes under different assumptions on losses and feedback information. For full information feedback and Lipschitz losses, we design the first explicit algorithm achieving the minimax regret rate (up to log factors). In a partial feedback model motivated by second-price auctions, we obtain algorithms for Lipschitz and semi-Lipschitz losses with regret bounds improving on the known bounds for standard bandit feedback. Our analysis combines novel results for contextual second-price auctions with a novel algorithmic approach based on chaining. When the context space is Euclidean, our chaining approach is efficient and delivers an even better regret bound.

研究の動機と目的

• 部分的フィードバック下でのオンライン非パラメトリック学習におけるレグレット最小化フレームワークの構築を目的とする。
• より豊かなフィードバック構造を活用することで、既存のExp3スタイルのアルゴリズムを改善することを目的とする。
• リザーブプライスの戦略的離散化を通じて損失推定の分散を制御することを目的とする。
• 期待値分解と集中不等式を用いて、よりタイトなレグレットバウンドを導出することを目的とする。
• 有界損失仮定の下で理論的性能保証を確立することを目的とする。

提案手法

• 推定誤差の制御とフィードバックの構造化のため、リザーブプライスの離散化集合 $ y_k = (k-1)\gamma $ を用いる。
• 学習率 $ \eta $ を用いて、指数加重平均（EWA）アルゴリズムを予測の組み合わせに適用する。
• 項 $ \sum_{j=1}^{K} \frac{q_t(j)}{\sum_{i=1}^{j} q_t(i)} $ を通じた分散制御メカニズムを採用し、これは $ \frac{1}{1-\gamma} $ で有界である。
• 期待レグレットを管理可能な成分に分解するために、条件付き期待値の塔の法則を用いる。
• EWAのレグレット分解と損失推定バイアス、分散制御を組み合わせることで、レグレットバウンドを導出する。
• 積分近似のための $ s_t(j) = \sum_{i=1}^{j} q_t(i) $ を導入する。

実験結果

リサーチクエスチョン

• RQ1 部分的フィードバックは、オンライン非パラメトリック学習におけるレグレットバウンドの改善にどのように活用可能か？
• RQ2 リザーブプライスによるアクション空間の離散化は、推定分散にどのような影響を及えるか？
• RQ3 推定損失の2次モーメントを制御することで、よりタイトなレグレットバウンドを達成できるか？
• RQ4 EWAフレームワークは、有界損失を伴う部分的フィードバック設定にどのように適応するか？
• RQ5 フィードバック構造は、損失推定器の有効な分散を低減するために果たす役割は何か？

主な発見

• レグレットバウンドは $ \frac{\eta}{2(1-\gamma)} \sum_{t=1}^{T} \mathbb{E}\left[ \sum_{j=1}^{K} \frac{q_t(j)}{\sum_{i=1}^{j} q_t(i)} \right] + \frac{\ln K}{\eta} $ で上界され、フィードバックの豊かさを通じた分散制御が可能である。
• 項 $ \sum_{j=1}^{K} \frac{q_t(j)}{\sum_{i=1}^{j} q_t(i)} $ は $ \gamma $ に依存する定数で有界であり、時間にわたる一様な制御が可能である。
• 非負の推定損失を用いたEWAの適用により、Lemma LABEL:lem:boundEWA-appe を通じた明確なレグレット分解が可能である。
• 条件付き期待値 $ \mathbb{E}_{t-1}[\widehat{\ell}_t(j)] = \ell_t(y_j) $ により、損失の不偏推定が保証される。
• 学習率 $ \eta \propto \sqrt{\frac{\ln K}{T}} $ の場合、バウンドは $ O(\sqrt{T \ln K}) $ にスケーリングされ、部分的フィードバック下での既知の最適レートと一致する。
• 戦略的離散化を通じてより豊かなフィードバック構造を活用することで、標準的なExp3よりもタイトなレグレット制御を達成する。