[論文レビュー] Taming the Monster: A Fast and Simple Algorithm for Contextual Bandits

Alekh Agarwal, Daniel Hsu+4 more|arXiv (Cornell University)|Feb 4, 2014

Advanced Bandit Algorithms Research参考文献 21被引用数 313

ひとこと要約

本稿では、座標降下法によるスパースな方策分布と適応的エポック構造を組み合わせることで、一般の方策クラスに対して最適なリグレットバウンドを達成しつつ、オракル呼び出し回数を部分線形に抑えた、新規で効率的な文脈的バンディット用アルゴリズムを提案する。この手法はコストセンシティブ分類オラクルに依存しており、従来の最適リグレットを達成するアルゴリズムと比較して、著しく低い計算コストで実用的な導入が可能である。

ABSTRACT

We present a new algorithm for the contextual bandit learning problem, where the learner repeatedly takes one of $K$ actions in response to the observed context, and observes the reward only for that chosen action. Our method assumes access to an oracle for solving fully supervised cost-sensitive classification problems and achieves the statistically optimal regret guarantee with only $ ilde{O}(\sqrt{KT/\log N})$ oracle calls across all $T$ rounds, where $N$ is the number of policies in the policy class we compete against. By doing so, we obtain the most practical contextual bandit learning algorithm amongst approaches that work for general policy classes. We further conduct a proof-of-concept experiment which demonstrates the excellent computational and prediction performance of (an online variant of) our algorithm relative to several baselines.

研究の動機と目的

• 一般の方策クラスに対して最適なリグレットバウンドを達成する計算効率の良い文脈的バンディットアルゴリズムの開発。
• 最適リグレットを達成するために必要なオラクル呼び出し回数を、T に対して多項式から部分線形に削減すること、具体的には $\tilde{O}(\sqrt{KT/\ln|\Pi|})$ にすること。
• 計算コストを最小限に抑えつつ統計的最適性を維持することで、文脈的バンディットアルゴリズムの実用的導入を可能にすること。
• 大規模な方策クラスにおいて、$|\Pi|$ に対して線形依存しない効率的なスケーリングを実現する手法の設計。

提案手法

• アルゴリズムは、方策上での非常にスパースな分布を計算するための座標降下手順を用いることで、効率的なサンプリングを可能にする。
• 方策分布の更新頻度を低く抑えることで、計算頻度を削減する、新しいエポック構造を導入する。
• 高報酬方策の選択に、コストセンシティブ分類問題を解く最適化オラクルに依存する。
• 最小探索確率 $\mu$ を持つ確率的探索戦略により、性能を損なわずに十分な行動カバレッジを確保する。
• オンライン版のアルゴリズムを考案し、二重にロバストな報酬推定とコストセンシティブオラクルのオンライン学習を用いる。
• アルゴリズムは、特定のエポックでのみ方策分布を更新するため、オラクル呼び出し回数を最小限に抑えつつ、リグレット保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 文脈的バンディットにおいて、ラウンド数 T に対して部分線形なオラクル呼び出し回数で最適なリグレットを達成できるか？
• RQ2 大規模な方策クラスにおいて、計算複雑性を著しく低減しつつも、統計的最適性を維持できるか？
• RQ3 スパースな方策分布を効率的に計算しても、探索の存在下で依然として低いリグレットを達成できるか？
• RQ4 どのような構造的設計（例：エポックスケジューリング）が、低リグレットと低オラクル使用量の両立を可能にするか？
• RQ5 大規模な方策クラスおよび実世界のデータに適応する、実用的な文脈的バンディットアルゴリズムを設計できるか？

主な発見

• アルゴリズムは、高確率で統計的に最適なリグレットバウンド $\tilde{O}(\sqrt{KT/\ln(|\Pi|/\delta)})$ を達成する。
• T ラウンドにおけるオラクル呼び出し総数は $\tilde{O}(\sqrt{KT/\ln(|\Pi|/\delta)})$ であり、これは T に対して部分線形である。
• 実行時間のネット値は $\tilde{O}(T^{1.5}\sqrt{K\log|\Pi|})$ であり、従来の Randomized UCB よりも顕著な改善を示す。
• Randomized UCB における $\tilde{O}(T^6)$ と比較して、アルゴリズムの計算複雑性は著しく低減され、実世界への導入に適している。
• オンライン版のアルゴリズムは、概念実証実験において低計算コストと高い報酬性能を示した。
• 理論的解析により、必要な制約を満たす任意の分布 $Q$ は、$\Omega(\sqrt{K\tau_M / \ln(\tau_M|\Pi|/\delta)})$ のサポートサイズを持つ必要があることが示され、スパarsity の必要性が裏付けられた。