[論文レビュー] Empirical Likelihood for Contextual Bandits

Nikos Karampatziakis, John Langford+1 more|arXiv (Cornell University)|Jun 7, 2019

Advanced Bandit Algorithms Research参考文献 34被引用数 5

ひとこと要約

本稿は、文脈的バンディットにおけるオフポリシー評価のための経験的尤度（EL）ベースの推定器と信頼区間を提案する。この手法により、ハイパーパrameterを必要とせず、よりきめ細やかで信頼性の高い信頼区間が得られる。推定と信頼区間は凸最適化問題として定式化され、有限標本における性能が向上し、報酬の信頼区間の下限を最大化することで、強力なベースラインを上回るロバストなポリシー最適化アルゴリズムが実現される。

ABSTRACT

We propose an estimator and confidence interval for computing the value of a policy from off-policy data in the contextual bandit setting. To this end we apply empirical likelihood techniques to formulate our estimator and confidence interval as simple convex optimization problems. Using the lower bound of our confidence interval, we then propose an off-policy policy optimization algorithm that searches for policies with large reward lower bound. We empirically find that both our estimator and confidence interval improve over previous proposals in finite sample regimes. Finally, the policy optimization algorithm we propose outperforms a strong baseline system for learning from off-policy data.

研究の動機と目的

• 有限標本において名目水準の被覆を維持する、信頼性の高い非パラメトリックな信頼区間を、文脈的バンディットにおけるオフポリシー評価に開発すること。
• 経験的尤度を用いて、偏りが著しく低く、証明可能な漸近的一貫性を持つ、計算効率の良い推定器を構築すること。
• 信頼区間の下限を活用して、オフポリシーデータからのロバストな学習を実現するポリシー最適化アルゴリズムを設計すること。
• IPS、SNIPS、ガウス近似などの既存手法を上回り、きめ細やかで実証的妥当性のある信頼区間を提供すること。
• 信頼区間の下限を最適化することで、点推定値のみを最適化する場合よりも優れた一般化性能が得られることを示すこと。

提案手法

• オフポリシーデータを無限個のカテゴリを持つ多項分布としてモデル化することで、パラメトリックな仮定なしに非パラメトリックな尤度推定を可能にする。
• スカラ変数の二分探索を用いて計算可能な推定器を導出することで、低バイアスと漸近的一致性を保証する。
• 多くの妥当なデータ生成世界を考慮する凸最適化問題を解くことで、ロバストな被覆性を確保する信頼区間を構築する。
• 標準的なEL実装と比較して、時間計算量を log(1/ε) 倍まで低減する、信頼区間を直接計算する新しいアルゴリズムを導入する。
• 信頼区間の下限を最大化する分布ロバストな学習目的関数を提案し、ロバスト最適化の原則と結びつける。
• ポリシー学習のブラックボックスオラクルとしてVowpal Wabbitを用い、双対変数の更新と重要度重みを双対から得たポリシー最適化を交互に実行する。

実験結果

リサーチクエスチョン

• RQ1 経験的尤度は、文脈的バンディットにおけるオフポリシー評価の信頼区間を、有限標本において狭くかつ実証的に妥当なものにできるか？
• RQ2 提案手法のELベース推定器は、IPS、SNIPS、その他の推定器と比較して、バイアスと平均二乗誤差の点でどのように異なるか？
• RQ3 信頼区間の下限を最適化することで、点推定値のみを最適化する場合よりも優れたポリシー学習が達成できるか？
• RQ4 標本サイズが最大重要度重みと同等であるような状況でも、ELの信頼区間は名目被覆性を維持するか？
• RQ5 ポリシー学習の向上は、分布ロバスト性の恩恵によるものか、それとも推定器自体の品質によるものか、その寄与度はどの程度か？

主な発見

• 提案されたEL信頼区間は、95%名目水準で平均97.5%の実証的被覆率を達成し、二項分布信頼区間（99.6%）と漸近的ガウス近似信頼区間（91.2%）を上回る。両者とも過剰被覆または不足被覆を示している。
• EL信頼区間は二項分布信頼区間よりも顕著に狭く、中央値の幅比が2.89に達する。標本サイズが最大重要度重みと同等であっても、その狭さを維持する。
• 信頼区間の下限に基づくポリシー最適化アルゴリズムは、40のデータセットのうち16で強力なベースラインを上回り、対応t検定では18勝6敗を記録し、統計的に有意な改善を示している。
• EL推定器単体を用いることで、ベースラインに対して中程度の改善が得られるが、下限に基づく学習目的関数を用いることで顕著な改善が得られる。これは、分布ロバスト性が鍵要因であることを示している。
• 本手法はハイパーパrameterフリーであり、計算的にも効率的で、低次元の凸最適化により信頼区間を解くため、反復的チューニングや複雑なクリッピング手順の必要がない。
• 合成データでは、EL区間はすべての標本サイズで名目被覆率を上回る安定性を示すが、漸近的ガウス区間は分散が増加するにつれて被覆率が低下し、幅が広がる。