[論文レビュー] Upper Counterfactual Confidence Bounds: a New Optimism Principle for Contextual Bandits

Yunbei Xu, Assaf Zeevi|arXiv (Cornell University)|Jul 15, 2020

Advanced Bandit Algorithms Research参考文献 31被引用数 7

ひとこと要約

本稿では、文脈的バンディットにおける新たな楽観主義原理である上界反事後的信頼区間（UCCB）を導入する。UCCBは、行動空間ではなく方策空間で動作するため、文脈空間や行動空間が大きいか無限大である場合でも、証明可能に最適かつ効率的なリグレットバウンドを達成できる。ポテンシャル関数の視点と反事後的行動乖離を活用することで、重み付き行動割り当てに依存せずに最適なリグレットを得られ、実現可能性の下で一般関数クラスへUCB風の楽観主義を拡張する。

ABSTRACT

The principle of optimism in the face of uncertainty is one of the most widely used and successful ideas in multi-armed bandits and reinforcement learning. However, existing optimistic algorithms (primarily UCB and its variants) often struggle to deal with general function classes and large context spaces. In this paper, we study general contextual bandits with an offline regression oracle and propose a simple, generic principle to design optimistic algorithms, dubbed "Upper Counterfactual Confidence Bounds" (UCCB). The key innovation of UCCB is building confidence bounds in policy space, rather than in action space as is done in UCB. We demonstrate that these algorithms are provably optimal and computationally efficient in handling general function classes and large context spaces. Furthermore, we illustrate that the UCCB principle can be seamlessly extended to infinite-action general contextual bandits, provide the first solutions to these settings when employing an offline regression oracle.

研究の動機と目的

• 一般的な文脈的バンディット問題において、文脈空間のサイズに伴いスケーリングが著しく悪化する既存の楽観的アルゴリズム（例：UCB）の限界を解消すること。
• 実現可能性条件の下で、一般的で効率的かつ証明可能に最適な楽観的アルゴリズムを文脈的バンディット問題に開発すること。
• 反事後的行動乖離を導入することで、楽観主義原理を無限行動空間へ拡張すること。
• 確率的または重み付き行動割り当て方式に依存しない、文脈的バンディットにおける楽観主義の理論的基盤を提供すること。

提案手法

• 行動空間ではなく方策空間で信頼区間を構築する新しい楽観主義原理としてUCCBを提案する。
• ポテンシャル関数の視点を用いて、文脈的設定における楽観主義の力を形式化し、よりタイトでスケーラブルな信頼区間を可能にする。
• 無限行動空間における信頼区間の定義に「反事後的行動乖離」の概念を導入し、UCBフレームワークを一般化する。
• スパースな行動分布を効率的に計算するための座標降下ベースの楽観的サブルーチンを設計し、有限時間内での収束を保証する。
• 最小二乗オракルと行列逆行列を用いて、反事後的乖離の連続的類似物を通じて楽観的な行動選択を計算する。
• 適応的分布更新を通じて方策空間における探索と活用のバランスを保ちながら、楽観性を維持するアルゴリズムを定式化する。

実験結果

リサーチクエスチョン

• RQ1 原理的楽観主義に基づくアルゴリズムは、文脈空間や行動空間が大きいか無限大である一般文脈的バンディット問題において、最適なリグレットを達成できるか？
• RQ2 スケーラビリティとパフォーマンスの向上を図るために、行動空間ではなく方策空間で信頼区間を体系的に構築する方法は何か？
• RQ3 ポテンシャル関数は、文脈的バンディット設定における楽観主義の有効性を説明する上で果たす役割は何か？
• RQ4 反事後的行動乖離は、無限行動空間における信頼区間の定義にどのように利用できるか？
• RQ5 UCCBは、確率的または重み付き行動割り当て方式に依存せずに最適なリグレットを達成できるか？

主な発見

• UCCBは、実現可能性条件の下で、文脈空間が大きいか無限大であっても、一般文脈的バンディット問題に対して証明可能な最適なリグレットバウンドを達成する。
• 従来のUCBの変種が抱える文脈空間の基数に依存する問題を克服し、文脈空間のサイズに依存しない最適なリグレットスケーリングを維持する。
• 方策空間で動作し、ポテンシャル関数を活用することで、先行する楽観的手法よりも洗練された分析が可能になる。
• 本手法は、無限行動空間における信頼区間の定義に新たなツールとして反事後的行動乖離を導入し、有限でない行動空間への楽観主義ベースのアルゴリズムの拡張を可能にする。
• 楽観的サブルーチンは有限回の反復（O(log T)回のオラクル呼び出しで上限）で収束し、必要な信頼区間を効率的に維持する。
• UCCBは、一般関数クラスを想定した実現可能な文脈的バンディット問題に対して、最適かつ効率的な楽観的アルゴリズムを初めて提供し、より広範な強化学習の応用への基盤を築く。