[論文レビュー] Triply Robust Off-Policy Evaluation

Anqi Liu, Hao Liu+2 more|arXiv (Cornell University)|Nov 13, 2019

Advanced Causal Inference Techniques参考文献 6被引用数 4

ひとこと要約

本稿では、オフポリシー評価を共変量シフト問題として定式化し、深層頑健回帰を適用することで、直接法（DM）部の性能を向上させることで、文脈的バンディットにおける三重に頑健なオフポリシー評価手法を提案する。このアプローチは、直接法と二重に頑健な推定器の両方を向上させ、特にログポリシーが不明な状況において、バイアスと分散の制御を改善し、困難な設定でも相対誤差を最大50%まで低減する。

ABSTRACT

We propose a robust regression approach to off-policy evaluation (OPE) for contextual bandits. We frame OPE as a covariate-shift problem and leverage modern robust regression tools. Ours is a general approach that can be used to augment any existing OPE method that utilizes the direct method. When augmenting doubly robust methods, we call the resulting method Triply Robust. We prove upper bounds on the resulting bias and variance, as well as derive novel minimax bounds based on robust minimax analysis for covariate shift. Our robust regression method is compatible with deep learning, and is thus applicable to complex OPE settings that require powerful function approximators. Finally, we demonstrate superior empirical performance across the standard OPE benchmarks, especially in the case where the logging policy is unknown and must be estimated from data.

研究の動機と目的

• ログポリシーがしばしば不明または不正確に推定される文脈的バンディットにおけるオフポリシー評価の課題に対処すること。
• 共変量シフト下での頑健回帰を活用し、オフポリシー評価に用いられる直接法（DM）のバイアスと分散を改善すること。
• 頑健な直接法を統合することで二重に頑健な手法への頑健性を拡張し、三重に頑健な推定器を構築すること。
• 提案されたフレームワークのバイアス、分散、ミニマックスリスクに関する理論的保証を提供すること。
• 標準ベンチマークにおいて、特に高分散またはログポリシーが不明な状況で、経験的に優れた性能を示すこと。

提案手法

• ターゲットポリシーの文脈-行動分布がログポリシーの分布と異なる共変量シフト問題としてオフポリシー評価を定式化する。
• ログポリシーとターゲットポリシーの分布間のシフトを明示的にモデル化することで、直接法部に現代の頑健回帰技術を適用する。
• 頑健な直接法と逆確率スコアリングを二重に頑健なフレームワークに統合し、三重に頑健（TR）推定器を導入する。
• 複雑で高次元な設定への適用を可能とするために、深層ニューラルネットワークを関数近似器として用いる。
• 最悪の共変量シフト下での推定器の頑健性を分析するため、新たなミニマックス境界を導出する。
• 既存のOPE手法に、標準的な直接法の代わりに頑健回帰に基づく代替手法を統合可能な一般枠組みを採用する。

実験結果

リサーチクエスチョン

• RQ1 共変量シフトに特化した頑健回帰技術が、文脈的バンディットにおけるオフポリシー評価の改善に効果的に適用可能か。
• RQ2 直接法部に頑健回帰を統合することで、オフポリシー推定器のバイアスと分散にどのような影響が生じるか。
• RQ3 三重に頑健な推定器の理論的保証（特にバイアス、分散、ミニマックスリスクの観点から）は何か。
• RQ4 ログポリシーが不明またはデータから推定されなければならない状況で、提案手法の経験的性能はいかが。
• RQ5 このフレームワークは、既存の二重に頑健な手法やその他の最先端のOPE手法を改善するために拡張可能か。

主な発見

• 三重に頑健な推定器は、ログポリシーが不明または推定される状況において、標準的な二重に頑健な手法を常に上回り、相対誤差を最大50%まで低減する。
• 高分散のログポリシーが適用される設定では、頑健な直接法（DM-R）が標準的なDMよりも著しく誤差を低減し、その恩恵がTR推定器へと伝わる。
• ログポリシーが既知で一様な場合、TRはDRよりも低い分散を示し、より高い安定性を示す。
• DM-RおよびTRの各ファミリーは、VehicleやCIFAR10を含むすべてのベンチマーク環境で、非頑健な対応手法を上回る性能を発揮する。
• ログポリシーが分類モデルを用いて推定されても、頑健回帰フレームワークが性能向上をもたらすため、実用的な頑健性が裏付けられる。
• 理論的分析により、提案された推定器のバイアスと分散の境界が改善されていることが確認され、最悪の共変量シフト下で新たなミニマックス境界が導出された。