[論文レビュー] A Survey on Contextual Multi-armed Bandits

Li Zhou|arXiv (Cornell University)|Aug 13, 2015

Advanced Bandit Algorithms Research参考文献 16被引用数 86

ひとこと要約

本サーベイは、確率的および敵対的設定、線形およびカーネル化モデル、およびLinUCB、EXP4、GP-UCBなどのアルゴリズムをカバーする、文脈的マルチアームバンディットの包括的な概要を提供する。さまざまなアプローチのレグレットバウンドを確立し、還元技術を議論することで、文脈依存の報酬を伴う部分的フィードバック下でのポリシー学習の統一フレームワークを提示する。

ABSTRACT

In this survey we cover a few stochastic and adversarial contextual bandit algorithms. We analyze each algorithm's assumption and regret bound.

研究の動機と目的

• 確率的および敵対的報酬設定の両方において、文脈的バンディットアルゴリズムの体系的レビューを提供すること。
• 問題に依存しないおよび問題に依存する場合の両方を区別しながら、主要なアルゴリズムの理論的性能をレグレットバウンドを用いて分析すること。
• 文脈的バンディットを分類問題やKアームバンディットに還元する技術を探索し、より広範な適用可能性を実現すること。
• 側面情報（文脈）が部分的フィードバック下での意思決定の質に与える影響を検討すること。
• オフライン評価の課題と、逆プロパティスティックスコアリングおよび不偏推定器を用いたポリシー評価の議論。

提案手法

• 部分的フィードバックを補正するために、観測された報酬を選択確率で除算することで不偏報酬推定器を用いる。
• 文脈が有限の場合、文脈的バンディットをKアームバンディットに還元し、各文脈を別個のバンディットインスタンスとして扱う。
• 敵対的設定におけるエキスパートの助言を用い、重み付き平均を用いてポリシーの重み付けを統合するEXP4およびEXP4.Pを適用する。
• 線形実現可能性を満たすLinUCBおよびSupLinUCBを用い、リッジ回帰と信頼区間を用いて探索と活用のバランスを取る。
• 非線形な文脈をカーネル法と事後分散の最大化を用いて扱うGP-UCBおよびKernelUCBを活用する。
• 探索と活用を組み合わせるVE（価値推定）アルゴリズムを導入し、文脈のサブセットからポリシーを学習し、学習済みポリシー集合に対してEXP4を適用する。

実験結果

リサーチクエスチョン

• RQ1 異なる文脈的バンディットアルゴリズムは、確率的仮定と敵対的仮定の両方において、どのように性能を発揮するか？
• RQ2 線形、カーネル化、およびポリシーに基づく文脈的バンディットアルゴリズムの理論的レグレットバウンドは何か？
• RQ3 性能保証を維持したまま、文脈的バンディットをより単純なバンディット問題や分類問題に還元する方法は何か？
• RQ4 ポリシー集合の複雑さ（例：VC次元）が、敵対的文脈的バンディットにおけるレグレットに与える影響は何か？
• RQ5 ログ記録ポリシーとターゲットポリシーが異なる場合、どのようにしてバンディットポリシーのオフライン評価を不偏に行えるか？

主な発見

• LinUCBは、線形実現可能性の下で、$ d $ を文脈次元として、$ O(d\big(\text{polylog}(T)\big)) $ のレグレットバウンドを達成する。
• EXP4.Pは、$ N $ 個のポリシーを持つ敵対的設定においても、高確率で $ O\big(\big(\text{polylog}(N/\theta)\big)\big) $ のレグレットバウンドを達成する。
• GP-UCBおよびKernelUCBは、$ \tilde{O}(\sqrt{T} \cdot (B\sqrt{\gamma_T} + \gamma_T)) $ のレグレットバウンドを達成する。ここで $ \gamma_T $ は最大情報量である。
• VEアルゴリズムは、VC次元 $ d $ のポリシー集合に対して、高確率保証のもとで $ O\big(\sqrt{T(d\ln(T/d) + \ln(1/\delta))}\big) $ のレグレットバウンドを達成する。
• Epoch-Greedyは、問題に依存するレグレットバウンドとして $ O(\ln T) $ を達成し、有利な設定では問題に依存しないバウンドを上回る性能を示す。
• 逆プロパティスティックスコアリング（IPS）を用いることで、オフラインでの不偏評価が可能であり、特にログ記録ポリシーがアームを一様にランダムに選択する場合に有効である。