[論文レビュー] Doubly robust off-policy evaluation with shrinkage

Yi Su, Maria Dimakopoulou+2 more|arXiv (Cornell University)|Jul 22, 2019

Advanced Bandit Algorithms Research参考文献 28被引用数 16

ひとこと要約

本稿は、文脈的バンディットにおける二重に頑健なオフポリシー評価のための新しい縮小フレームワークを提案する。重要度重みを平均二乗誤差（MSE）の上限を最小化するように最適化することで、懐疑的および楽観的な縮小戦略を導入し、新たな推定器（重みクリッピングの変種および組み合わせ的行動に対する初めての縮小ベースの手法を含む）を導出する。これらは、原子的および組み合わせ的バンディット設定の両方で、幅広いデータ環境において、最先端の手法を著しく上回る性能を示しており、多数の実験的検証が行われている。

ABSTRACT

We propose a new framework for designing estimators for off-policy evaluation in contextual bandits. Our approach is based on the asymptotically optimal doubly robust estimator, but we shrink the importance weights to minimize a bound on the mean squared error, which results in a better bias-variance tradeoff in finite samples. We use this optimization-based framework to obtain three estimators: (a) a weight-clipping estimator, (b) a new weight-shrinkage estimator, and (c) the first shrinkage-based estimator for combinatorial action sets. Extensive experiments in both standard and combinatorial bandit benchmark problems show that our estimators are highly adaptive and typically outperform state-of-the-art methods.

研究の動機と目的

• 高い重要度重みが引き起こす有限標本における分散の問題を解消すること。
• 報酬予測子の品質に応じて適応可能な、理論的裏付けのある系統的で一貫した重要度重みの縮小戦略を構築すること。
• 重みクリッピングの変種および組み合わせ的行動集合に対する新しい縮小手法を含む、新たな推定器を開発し、平均二乗誤差性能を向上させること。
• 標準的および組み合わせ的行動設定を含む、多様な実世界および合成バンディットベンチマークにおいて、提案フレームワークの実験的妥当性を検証すること。
• 報酬予測子の選択と縮小戦略が相互に依存しており、実用的推定器設計に与える影響を示すこと。

提案手法

• 平均二乗誤差（MSE）の鋭い上限を最適化することで、一般化された重要度重みの縮小フレームワークを導出。報酬予測子の品質に依存しない（懐疑的）およびそれを組み込む（楽観的）2つのバウンディング技術を用いる。
• 懐疑的縮小の特別なケースとして重みクリッピング推定器を導入し、その実験的成功を理論的に裏付ける。
• 報酬予測子の品質に適応する楽観的縮小に基づく新しい重み縮小推定器を開発し、バイアス-バリアンスのトレードオフを改善。
• 組み合わせ的行動集合への縮小フレームワークの拡張を実施し、この設定における初めての縮小ベースのオフポリシー推定器を実現。
• 懐疑的、楽観的、およびナイーブなバイアスバウンドを用いたモデル選択により、多様なデータ条件に適応した最適な縮小パラメータを選択。
• 一回走査のアルゴリズム設計を採用することで、従来の方法が有する超線形時間計算量とは対照的に、大規模データセットへのスケーラビリティを実現。

実験結果

リサーチクエスチョン

• RQ1 報酬予測子に関する強い仮定を必要とせず、オフポリシー評価における平均二乗誤差を最小化するための、重要度重みの系統的縮小はどのように実現できるか？
• RQ2 重みクリッピングと縮小の理論的関係は何か？これは特定の最適化目的に対応しているか？
• RQ3 報酬予測子の品質を活用する楽観的縮小は、懐疑的または標準的な二重に頑健な推定器よりも優れた性能を示せるか？
• RQ4 複数の行動を同時に選択する組み合わせ的行動集合において、縮小はどのように拡張可能か？
• RQ5 報酬予測子の選択と縮小戦略の相互作用は何か？最適なパフォーマンスを得るためには、これらをどのように共同で選択すべきか？

主な発見

• 提案された懐疑的縮小フレームワークは、重みクリッピングを特別なケースとして正当化し、広く用いられるヒューリスティックの理論的裏付けを提供する。
• 楽観的縮小推定器は、実世界データセットの108の実験的条件下で、標準的な二重に頑健な推定器およびクリッピング推定器を常に上回り、有利な設定では正規化MSEを最大30%まで低減する。
• 組み合わせ的行動に対する新しい縮小ベースの推定器は、標準的な学習-ランキングベンチマークで最先端の性能を達成し、この複雑な設定における縮小の成功した応用を初めて示した。
• 懐疑的、楽観的、およびナイーブなバイアスバウンドの最小値を用いたモデル選択により、
• MRDR報酬予測子とDRs-upper推定器の組み合わせは、110の条件のうち57件で唯一の最良結果を達成したが、これは正しい縮小戦略と組み合わせられた場合に限る。これにより、推定器部品の整合性の重要性が示された。
• 小規模データ環境では、DRs-upper推定器に楽観的縮小と最良のモデル選択を組み合わせた手法が、最も挑戦的なシナリオにおいても、次に優れた手法よりも正規化MSEが40%低い性能を発揮した。