[論文レビュー] Optimal and Adaptive Off-policy Evaluation in Contextual Bandits

Yu-Xiang Wang, Alekh Agarwal+1 more|arXiv (Cornell University)|Dec 4, 2016

Advanced Bandit Algorithms Research参考文献 19被引用数 20

ひとこと要約

本稿は、一貫性のある報酬モデルが存在しない文脈的バンディットにおけるオフポリシー評価について、初めてのミニマックス最適な下界を確立し、逆確率スコア化（IPS）と二重に頑健な（DR）推定器が定数を除いてミニマックス最適であることを示している。本稿では、DMとDRを適応的に組み合わせることでバイアス・バリアンスのトレードオフを改善するスイッチ推定器を提案しており、特に重要度重みの分散が大きい状況下でも、先行手法を著しく上回る実用的性能を発揮している。

ABSTRACT

We study the off-policy evaluation problem---estimating the value of a target policy using data collected by another policy---under the contextual bandit model. We consider the general (agnostic) setting without access to a consistent model of rewards and establish a minimax lower bound on the mean squared error (MSE). The bound is matched up to constants by the inverse propensity scoring (IPS) and doubly robust (DR) estimators. This highlights the difficulty of the agnostic contextual setting, in contrast with multi-armed bandits and contextual bandits with access to a consistent reward model, where IPS is suboptimal. We then propose the SWITCH estimator, which can use an existing reward model (not necessarily consistent) to achieve a better bias-variance tradeoff than IPS and DR. We prove an upper bound on its MSE and demonstrate its benefits empirically on a diverse collection of data sets, often outperforming prior work by orders of magnitude.

研究の動機と目的

• 報酬モデルが一貫性のない文脈的バンディットにおけるオフポリシー評価の統計的難易度を確立すること。
• アグノスティック設定におけるオフポリシー評価の平均二乗誤差（MSE）に対するミニマックス下界を導出すること。
• バイアスとバリアンスのバランスをより良くするため、IPSおよびDRを改善する適応的推定器を設計すること。
• 多様な実世界のデータセットを用いたスイッチ推定器の優位性を実証的に検証すること。

提案手法

• 一貫性のある報酬モデルが存在しない文脈的バンディットにおけるオフポリシー評価のMSEに対するミニマックス下界を導出し、IPSおよびDRが定数を除いて最適であることを示している。
• 重要度重みに基づいて直接法（DM）と二重に頑健な（DR）推定器を適応的に組み合わせるスイッチ推定器を提案している。
• しきい値制御機構を用いる：重要度重みがしきい値τを超える場合、推定器はDMに切り替わる。それ以外の場合はDRを使用する。
• スイッチ推定器のMSEを分析し、最悪ケースではDRやIPSに劣らないことを証明しているが、実際にはより低い分散を達成している。
• ホフディングの不等式とKLダイバージェンスのバウンドを用いて、経験的平均と重要度重みの集中を制御している。
• 実世界の多値分類データセットを用いて手法を検証し、決定論的およびノイズあり報酬を伴う文脈的バンディット問題をシミュレートしている。

実験結果

リサーチクエスチョン

• RQ1 報酬モデルが一貫性のない場合、文脈的バンディットにおけるオフポリシー評価の根本的統計的限界（ミニマックスリスク）は何か？
• RQ2 IPS や DR といった標準的推定器は、アグノスティック設定において最適であるか、それらは改善可能か？
• RQ3 DM と DR を組み合わせる適応的推定器は、既存手法に比べてより優れたバイアス・バリアンスのトレードオフを達成できるか？
• RQ4 スイッチ推定器の性能は、多様な実世界のデータセットにおいて、IPS、DR、DM と比べてどのように異なるか？

主な発見

• アグノスティックな文脈的バンディット設定におけるオフポリシー評価のミニマックス下界は、IPSおよびDR推定器の上界と定数を除いて一致しており、それらのミニマックス最適性を証明している。
• IPSおよびDRがミニマックス最適であるにもかかわらず、実用的にはDRが常にIPSを上回る。これは、パラメトリックモデルが一貫性がなくても分散が低いためである。
• 複数の実世界データセットにおいて、スイッチ推定器はDRやIPSに比べて顕著に低い平均二乗誤差を達成しており、しばしば桁違いの改善を示している。
• スイッチ推定器は高分散の重要度重みに対して頑健であり、データに適応するため、IPSの不安定性を回避しながらDRの分散を改善している。
• 実験結果から、DRは一般的には競争力があるが、時としてDMに劣ることもあり、これによりスイッチのような適応的推定器の必要性が浮き彫りになっている。
• スイッチ推定器の理論的MSE上界は、DRやIPSのそれ以上ではなく、実際にははるかに優れた性能を発揮している。