[論文レビュー] Efficient Contextual Semi-Bandit Learning.

Akshay Krishnamurthy, Alekh Agarwal+1 more|arXiv (Cornell University)|Feb 20, 2015

Advanced Bandit Algorithms Research参考文献 22被引用数 3

ひとこと要約

本稿では、線形構造を持つ報酬を有する文脈的セミバンディット学習のための効率的アルゴリズムを提案する。最適化オракルを用いることで方策の列挙を回避する。線形変換が既知の場合、$ tilde{O}(ackslashackslashsqrtackslashackslash{KLT ackslashackslash ln N})$ のレグレットバウンドを達成し、未知の場合には $ tilde{O}(ackslashackslash|wackslashackslash|_1(KT)^{3/4} ackslashackslash sqrtackslashackslash{ackslashackslash ln N})$ を達成する。予測学習オラクルを用いることで計算効率を確保する。

ABSTRACT

We study a variant of the contextual bandit problem, where on each round, the learner plays a sequence of actions, receives a feature for each individual action, and reward that is linearly related to these features. This setting has applications to network routing, crowd-sourcing, personalized search, and many other domains. If the linear transformation is known, we analyze an algorithm that is structurally similar to the algorithm of Agarwal et a. [2014] and show that it enjoys a regret bound between $ ilde{O}(\sqrt{KLT \ln N})$ and $ ilde{O}(L\sqrt{KT \ln N})$, where $K$ is the number of actions, $L$ is the length of each action sequence, $T$ is the number of rounds, and $N$ is the number of policies. If the linear transformation is unknown, we show that an algorithm that first explores to learn the unknown weights via linear regression and thereafter uses the estimated weights can achieve $ ilde{O}(\|w\|_1(KT)^{3/4} \sqrt{\ln N})$ regret, where $w$ is the true (unknown) weight vector. Both algorithms use an optimization oracle to avoid explicit enumeration of the policies and consequently are computationally efficient whenever an efficient algorithm for the fully supervised setting is available.

研究の動機と目的

• 行動特徴に線形に依存する報酬を有する文脈的セミバンディット学習の課題に取り組む。行動の系列にわたる報酬は線形に構造化されている。
• 最適化オラクルを活用することで、すべての方策を明示的に列挙することなく、計算的に効率的なアルゴリズムを設計する。
• 線形変換が既知・未知の両設定において、低いレグレットを達成する。理論的保証を備える。
• スケーラビリティと適応性を確保することで、ネットワークルーティングやパーソナライズドサーチなどの応用分野への実用的導入を可能にする。
• 予測学習の効率性と部分的フィードバック下でのオンライン意思決定のギャップを埋める。

提案手法

• 線形変換が既知の場合、Agarwalら（2014）と構造的に類似したアルゴリズムを提案する。最適化オラクルを用いて、効率的な行動選択を実現する。
• 線形変換が未知の場合、二段階戦略を適用する：まず線形回帰を用いて重みベクトルを推定するための探索段階を実施し、その後推定値を活用した活用段階に移行する。
• 推定された重みを用いて、活用段階における行動選択をガイドし、時間経過に伴いレグレットを最小化する。
• 線形報酬モデルの構造を活用することで、全方策の網羅的列挙の必要性を低減する。
• 完全な予測学習設定における効率的なオラクルに依存することで、計算効率を確保し、大規模な方策空間へのスケーラビリティを実現する。
• 推定された重みから導出される信頼区間と探索ボーナスを用いて、探索と活用のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 線形構造を持つ報酬を有する文脈的セミバンディット学習において、計算効率を維持したまま低いレグレットを達成できるか。
• RQ2 線形変換が既知の場合、達成可能な最適なレグレットバウンドは何か。また、行動数、シーケンス長、ラウンド数、方策数にどのように依存するか。
• RQ3 線形変換が未知の場合、アルゴリズムをどのように適合させられ、どのようなレグレットバウンドが達成可能か。
• RQ4 高次元の方策空間において、最適化オラクルが明示的な方策列挙をどの程度置き換えることができるか。
• RQ5 未知重み設定における探索と推定の相互作用が、全体のレグレットに及ぼす影響はどの程度か。

主な発見

• 線形変換が既知の場合、提案アルゴリズムは $\tilde{O}(\sqrt{KLT \ln N})$ のレグレットバウンドを達成する。ここで $K$ は行動数、$L$ はシーケンス長、$T$ はラウンド数、$N$ は方策数を表す。
• 線形変換が未知の場合、アルゴリズムは $\tilde{O}(\|w\|_1(KT)^{3/4} \sqrt{\ln N})$ のレグレットを達成する。ここで $\|w\|_1$ は真の重みベクトルの $\ell_1$-ノルムを表す。
• アルゴリズムは最適化オラクルに依存することで、すべての方策を明示的に列挙することなく、計算効率を維持する。
• レグレットバウンドは $T$、$K$、$N$ に対する依存性においてタイトであり、未知設定における探索と活用のトレードオフを反映している。
• 初期の重み推定に線形回帰を用いることで、探索から活用へのスムーズな移行が可能となり、制御されたレグレット成長が実現される。
• 理論的分析により、問題サイズに応じてアルゴリズムが良好にスケーリングされることを確認した。これは、パーソナライズドサーチやネットワークルーティングなどの実世界応用に適している。