[論文レビュー] Contextual Bandit Algorithms with Supervised Learning Guarantees

Alina Beygelzimer, John Langford+3 more|arXiv (Cornell University)|Feb 22, 2010

Advanced Bandit Algorithms Research参考文献 23被引用数 203

ひとこと要約

本稿では、敵対的設定において高確率のレグレットバウンド $O(\sqrt{KT\ln N})$ を達成する文脈バンディットアルゴリズム Exp4.P を提案する。これは、期待値でのみこのようなバウンドを保証する従来のアルゴリズム（例：Exp4）を改善したものである。分散に配慮した重要度加重推定と、保守的な探索戦略を組み込むことで、VC次元に基づく保証を用いて、巨大または無限のポリシークラスと競合する場合でも、教師あり学習と同等の信頼性の高い性能を実現可能となる。

ABSTRACT

We address the problem of learning in an online, bandit setting where the learner must repeatedly select among $K$ actions, but only receives partial feedback based on its choices. We establish two new facts: First, using a new algorithm called Exp4.P, we show that it is possible to compete with the best in a set of $N$ experts with probability $1-δ$ while incurring regret at most $O(\sqrt{KT\ln(N/δ)})$ over $T$ time steps. The new algorithm is tested empirically in a large-scale, real-world dataset. Second, we give a new algorithm called VE that competes with a possibly infinite set of policies of VC-dimension $d$ while incurring regret at most $O(\sqrt{T(d\ln(T) + \ln (1/δ))})$ with probability $1-δ$. These guarantees improve on those of all previous algorithms, whether in a stochastic or adversarial environment, and bring us closer to providing supervised learning type guarantees for the contextual bandit setting.

研究の動機と目的

• 教師あり学習と文脈バンディット学習の間のギャップを埋めるために、標準的な教師あり学習と同等の高確率のレグレット保証を提供すること。
• Exp4 が高確率のレグレットバウンドを期待値でのみ達成しているという限界を克服し、高確率での性能を保証する分散制御付きの変種を導入すること。
• VC次元に基づくレグレットバウンドを用いて、Exp4.P をサブラウチンとして用いることで、巨大または無限のポリシークラスにおける有効な学習を可能にすること。
• 大規模データを扱う実世界のシステムに展開可能な、実用的で効率的なアルゴリズムを提供すること。

提案手法

• Exp4.P は、重要度加重報酬推定の分散を考慮した保守的な探索項を導入することで、Exp4 アルゴリズムを変更する。この項は、$\sqrt{\ln(N/\delta)/(KT)}$ を根拠とする信頼区間に基づく。
• アルゴリズムは、各エキスパートごとの重み $w_{\bf a}(t)$ を維持し、各ラウンドの加重推定の和を用いて更新する。更新ルールは、分散制御を追加した対数損失関数から導出される。
• 重み更新を構造化された分解により表現し、$w_{\bf a}(t+1)$ をエキスパート $b$ における積 $\prod_b g_{b,a_b}(t)$ として表すことで、各エキスパートの和 $\sum_j g_{b,j}(t)$ を用いた効率的な計算を可能にする。
• 最終的な行動選択確率 $p_j(t)$ は、正規化された重み $\frac{d_b(t) g_{b,j}(t)}{\sum_{j'} g_{b,j'}(t)}$ を用いたエキスパートの加重平均として計算され、$K$ および $B$ に対して線形時間計算量を達成する。
• VC次元 $d$ の無限ポリシークラスに対しては、Stochastic仮定の下で、Exp4.P をブラックボックスサブラウチンとして用いることで、高確率のレグレットバウンド $O(\sqrt{Td\ln T})$ を達成する。
• 実装では、新しい記事に対する動的スコアリングメカニズムを用いることで、大規模展開時における安定した初期重みを保証し、実用的な効率性を実現する。

実験結果

リサーチクエスチョン

• RQ1 文脈バンディットアルゴリズムは、敵対的設定において高確率のレグレットバウンド $O(\sqrt{KT\ln N})$ を達成できるか。これは教師あり学習の性能と一致するか。
• RQ2 元の Exp4 アルゴリズムは、期待レグレットが良好であるにもかかわらず、なぜ高確率のレグレットバウンドを達成できないのか。この問題はどのように是正できるか。
• RQ3 Exp4.P は無限のポリシー集合と効果的に競合できるか。Stochastic仮定の下で、その結果得られるレグレットバウンドは何か。
• RQ4 Exp4.P の保守的な探索戦略は、より欲張りな代替手法と比較して、実世界の展開において性能にどのように影響を与えるか。
• RQ5 ポリシー数 $N$ が指数的に多くても、たとえば決定木の剪定のすべての組み合わせのように構造的である場合、Exp4.P で計算効率を維持できるか。

主な発見

• Exp4.P は、敵対的文脈バンディット設定において、$O(\sqrt{KT\ln N})$ の高確率レグレットバウンドを達成する。これは、この問題クラスにおいて初めての保証である。
• Stochastic設定では、Exp4.P は VC次元 $d$ のポリシークラスと競合しつつも、高確率でレグレットが $O(\sqrt{Td\ln T})$ 以下であることを保証する。
• 4100万件のユーザー訪問を含む実世界データセットを用いた実証的評価では、Exp4.P は1.6512の最高の展開時クリックストラクチャート（eCTR）を達成し、Exp4（1.5309）および $\epsilon$-greedy（1.4290）を上回った。
• 学習段階のeCTRはやや悪く（1.0525 vs. 1.0988 for Exp4）、しかし展開段階での性能が顕著に優れていることから、保守的な探索によるより優れたポリシー一般化が示された。
• 構造化された重み更新を活用することで、たとえば決定木のすべての剪定の組み合わせのような指数的サイズのポリシーセットに対しても、効率的な実装が可能である。
• 結果として、文脈バンディット学習が、$K$ 要因の増加を除き、教師あり学習とほぼ同等の性能保証を達成できることを示した。