[論文レビュー] Sample-efficient Nonstationary Policy Evaluation for Contextual Bandits

Miroslav Dudı́k, Dumitru Erhan+2 more|arXiv (Cornell University)|Oct 16, 2012

Advanced Bandit Algorithms Research参考文献 25被引用数 3

ひとこと要約

この論文は、重要度重み付け、二重に頑健な推定、非定常的方針評価を統合する、文脈的バンディットにおけるサンプル効率の良いオフライン方針評価手法を提案する。バイアス・バリアンスのトレードオフを巧みに制御し、ターゲット方針の確率的性質を活用することで、分散を低減し、データの使用効率を向上させ、合成データおよび実世界のデータセットにおいて、最大で10倍のデータ利用効率向上を達成する。

ABSTRACT

We present and prove properties of a new offline policy evaluator for an exploration learning setting which is superior to previous evaluators. In particular, it simultaneously and correctly incorporates techniques from importance weighting, doubly robust evaluation, and nonstationary policy evaluation approaches. In addition, our approach allows generating longer histories by careful control of a bias-variance tradeoff, and further decreases variance by incorporating information about randomness of the target policy. Empirical evidence from synthetic and realworld exploration learning problems shows the new evaluator successfully unifies previous approaches and uses information an order of magnitude more efficiently.

研究の動機と目的

• 限られたオフラインデータにおける文脈的バンディット設定での方針評価の課題に対処すること。
• 複数の既存手法を統合することで、オフライン方針評価におけるサンプル効率を向上させること。
• ターゲット方針の確率的性質を明示的にモデル化することで、方針評価の分散を低減すること。
• バイアス・バリアンスのトレードオフを制御することで、限られたデータからより長い有効なデータ履歴を生成できること。
• 合成および実世界の探索学習問題において、先行手法を統合し、それらを上回ること。

提案手法

• オフライン方針評価における精度向上と分散低減を目的に、重要度重み付けと二重に頑健な推定を統合する。
• 時間的に変化する行動方針に対応できるように、非定常的方針評価技術を組み込む。
• 限られたデータからより長い有効なデータ履歴を生成できるように、バイアス・バリアンスのトレードオフを制御するメカニズムを導入する。
• ターゲット方針の確率的性質の知識を活用し、評価推定量の分散をさらに低減する。
• 重要度重み付け、二重に頑健性、非定常性の3要素を統合した一貫したフレームワークに統合された統一推定量を採用する。
• 行動方針とターゲット方針の両分布を考慮した、修正された経験的リスク最小化アプローチを用いる。

実験結果

リサーチクエスチョン

• RQ1 統一的なオフライン方針評価手法は、文脈的バンディット設定において、同時にサンプル効率の向上と分散の低減を達成できるか？
• RQ2 ターゲット方針の確率的性質を組み込むと、方針評価推定量の分散にどのような影響を与えるか？
• RQ3 バイアス・バリアンスのトレードオフをどの程度制御できるか。限られたデータからより長い有効な履歴を生成できるか？
• RQ4 重要度重み付け、二重に頑健な推定、非定常的評価を統合することで、個々の手法に比べて一貫した改善が得られるか？
• RQ5 提案手法は、合成および実世界の文脈的バンディット問題において、先行手法と比較してどのように評価されるか？

主な発見

• 提案手法は、ターゲット方針の確率的性質を組み込むことで、ベースライン手法と比較して顕著に分散が低減された。
• 合成および実世界の実験において、本手法は従来手法と比較して、最大で10倍のデータ使用効率を達成した。
• 統一推定量は、重要度重み付けや二重に頑健な推定といった個別手法よりも、精度と安定性の面で優れている。
• 制御されたバイアス・バリアンスのトレードオフにより、限られたデータからより長い有効な履歴が生成可能となり、評価の信頼性が向上した。
• 実世界の探索学習問題における実験結果から、本手法のサンプル効率と頑健性の優位性が確認された。
• 平均二乗誤差や信頼区間カバレッジといった複数の評価指標において、一貫した改善が示された。