[論文レビュー] Contextual Semibandits via Supervised Learning Oracles

Akshay Krishnamurthy, Alekh Agarwal+1 more|arXiv (Cornell University)|Feb 20, 2015

Advanced Bandit Algorithms Research被引用数 3

ひとこと要約

本稿では、コンテキスト付きセミバンディット問題に対して、オラクルに基づくアルゴリズムを導入し、問題を教師あり学習に還元することで、効率的で高性能なポリシー学習を可能にする。報酬マッピングが既知の場合のVCEEと、未知の場合のEELSを提案。実世界のランキング学習データセットにおいて、優れた計算効率とレグレットバウンドを達成する。

ABSTRACT

We study an online decision making problem where on each round a learner chooses a list of items based on some side information, receives a scalar feedback value for each individual item, and a reward that is linearly related to this feedback. These problems, known as contextual semibandits, arise in crowdsourcing, recommendation, and many other domains. This paper reduces contextual semibandits to supervised learning, allowing us to leverage powerful supervised learning methods in this partial-feedback setting. Our first reduction applies when the mapping from feedback to reward is known and leads to a computationally efficient algorithm with near-optimal regret. We show that this algorithm outperforms state-of-the-art approaches on real-world learning-to-rank datasets, demonstrating the advantage of oracle-based algorithms. Our second reduction applies to the previously unstudied setting when the linear mapping from feedback to reward is unknown. Our regret guarantees are superior to prior techniques that ignore the feedback.

研究の動機と目的

• 構造的かつ組み合わせ的行動空間において、個々のアイテムに対するフィードバックが複合報酬を示す部分的フィードバックを伴うオンライン意思決定の課題に対処する。
• SVM やブースティングなどの強力な教師あり学習アルゴリズム（例：SVM、ブースティング）をオラクルとして用い、行動集合の直接列挙なしに表現力の高いポリシーを学習可能にする。
• 報酬マッピングが既知・未知の両設定において、近似的に最適なレグレットを達成する計算的に効率的なアルゴリズムを開発する。
• 大規模なランキングタスクにおいて、豊かなポリシークラスに対するオラクルベース探索が、先行するコンテキスト付きセミバンディット手法を著しく上回ることを実験的に示す。

提案手法

• 個々のアイテムからのフィードバックを用いて、ポリシー学習を教師あり予測問題として定式化することで、コンテキスト付きセミバンディット問題を教師あり学習に還元する。
• 報酬マッピングが既知の場合のVCEE（値補正探索）を提案。線形なフィードバックから報酬への関係を仮定し、オラクルを用いてレグレットを最小化するポリシーを選択する。
• 未知の線形マッピングを効率的に学習するためのEELS（線形探索を伴う探索・活用）を設計。初期段階で均一な探索により線形重みベクトルを推定し、その後に学習済み重みを用いた適応的活用に移行する。
• EELSでは二段階戦略を採用：初期段階で均一な探索により線形重みベクトルを推定し、その後に学習済み重みを用いた適応的活用を実施する。
• 集中不等式（Freedmanの不等式、Azumaの不等式、Hanson-Wrightの不等式、行列型 Bernstein の不等式）を用いて、探索と活用のトレードオフを分析し、レグレットバウンドを導出する。
• 計算オーバーヘッドを最小限に抑えるためにオラクルアクセスを統合し、大規模なポリシークラスおよび実世界のデータセットに対してもスケーラブルな手法を実現する。

実験結果

リサーチクエスチョン

• RQ1 コンテキスト付きセミバンディット問題は、強力な学習オラクルを活用できるように、教師あり学習問題に効果的に還元可能か？
• RQ2 アイテムのフィードバックから複合報酬への線形マッピングが既知である場合、達成可能なレグレットバウンドは何か？ また、既存手法と比較してどうか？
• RQ3 計算的に効率的かつ証明可能なレグレット保証を満たす形で、フィードバックから報酬への未知の線形マッピングを効率的に学習する方法は何か？
• RQ4 豊かなポリシークラスに対するオラクルベース探索は、実世界の推薦・ランキングアプリケーションにおいて顕著な性能向上をもたらすか？
• RQ5 報酬マッピングが未知である場合、探索と活用の最適なトレードオフは何か？ そして、それがレグレット最小化フレームワーク内でどのように形式化できるか？

主な発見

• VCEEは、問題構造に応じて $\tilde{O}(\sqrt{KLT\log N})$ から $\tilde{O}(L\sqrt{KT\log N})$ のレグレットバウンドを達成し、$\tilde{O}(T^{3/2})$ 回のオラクル呼び出しで、理論的および実践的両面で先行手法を上回る。
• 報酬マッピングが未知の場合、EELSは $\tilde{O}((LT)^{2/3}(K\log N)^{1/3})$ のレグレットバウンドを達成し、既存の計算効率の良い手法を改善する。
• 実世界のランキング学習データセットにおいて、VCEEは最先端のコンテキスト付きセミバンディットベースラインを著しく上回り、オラクルベース手法の実用的利点を示している。
• 理論的分析から、EELSのレグレットバウンドは $L$ に対して最適でないが、未知重み設定においても先行手法を上回る。
• 本稿は、オラクルベースのコンテキストバンディットおよびセミバンディットアルゴリズムの包括的かつ最初の実験的評価を確立し、大規模な設定における有効性を検証した。
• 導出されたレグレットバウンドは、与えられた仮定のもとでタイトであり、高度な集中不等式の適用と、探索と活用のトレードオフのきめ細やかな取り扱いに依存している。