[論文レビュー] Confident Off-Policy Evaluation and Selection through Self-Normalized Importance Weighting

Ilja Kuzborskij, Claire Vernade+2 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Causal Inference Techniques参考文献 29被引用数 10

ひとこと要約

本稿では、自己正規化重要度重み付け（SN）を用いた、文脈的バンディットにおけるオフポリシー評価のための新規な高確率下界を提案する。これは、半経験的Efron-Stein尾確率不等式と乗法的バイアス制御を組み合わせたものであり、合成データおよび実世界のデータセットにおいて、最先端のベースラインと比較してよりタイトな信頼区間と優れたポリシー選択性能を達成する。

ABSTRACT

We consider off-policy evaluation in the contextual bandit setting for the purpose of obtaining a robust off-policy selection strategy, where the selection strategy is evaluated based on the value of the chosen policy in a set of proposal (target) policies. We propose a new method to compute a lower bound on the value of an arbitrary target policy given some logged data in contextual bandits for a desired coverage. The lower bound is built around the so-called Self-normalized Importance Weighting (SN) estimator. It combines the use of a semi-empirical Efron-Stein tail inequality to control the concentration and a new multiplicative (rather than additive) control of the bias. The new approach is evaluated on a number of synthetic and real datasets and is found to be superior to its main competitors, both in terms of tightness of the confidence intervals and the quality of the policies chosen.

研究の動機と目的

• 限られたログデータにおける文脈的バンディットにおける信頼性の高いオフポリシー評価と選択の課題に対処すること。
• 重尾な重要度重みが存在する状況でもタイトなままである、ターゲットポリシーの価値に対する高確率下界を構築すること。
• オフポリシー推定におけるバイアスと分散を両方制御する信頼区間を提供することで、ポリシー選択のロバスト性を向上させること。
• 標準的重み付け法や逆プロバビリティスコアリングの限界を克服し、行動ポリシーとターゲットポリシーが不一致である状況でも有効に機能すること。
• 個人向け医療やオンライン広告などの実世界の応用分野におけるオフポリシー選択の実用的導入を可能にすること。

提案手法

• 分散の安定化とすべてのモーメントの有界性を保証するため、コア推定器として自己正規化重要度重み付け（SN）を活用する。
• SN推定量の尾部集中を制御するため、半経験的Efron-Stein不等式を導入する。
• 有限標本における性能向上のため、加法的バイアス制御ではなく乗法的バイアス補正を採用する。
• SN推定を用いて、ターゲットポリシーの価値に対する有限標本・高確率下界を導出する。
• 信頼区間のキャリブレーションに、経験的尤度およびモーメント生成関数の技術を用いる。
• ハイパーパramータのチューニングと多様なデータセットにおけるロバスト性の向上のため、Gibbsフィッティングを採用する。

実験結果

リサーチクエスチョン

• RQ1 重尾な重要度重みが存在する状況でもタイトなままである、オフポリシー評価のための高確率下界を構築できるか？
• RQ2 有限標本における性能の観点から、SN推定における乗法的バイアス制御は加法的バイアス補正よりも優れているか？
• RQ3 提案手法は、既存のオフポリシー評価ベースラインと比較して、ポリシー選択の正確性と信頼区間のタイトさの両面で優れているか？
• RQ4 半経験的Efron-Stein不等式は、実際のSN推定量の集中を制御するために効果的か？
• RQ5 行動ポリシーとターゲットポリシーの不一致度が異なる多様な実世界および合成データセットにおいて、本手法はロバスト性を維持できるか？

主な発見

• 全データセットにおいて、評価されたすべてのベースラインと比較して、本手法が最もタイトな信頼区間を達成した。SN用のESLB（Efron-Stein Lower Bound）は一貫して他の手法を上回った。
• Letterデータセットでは、Gibbsフィッティング済みSN用のESLBが、0.997 ± 0.004のカバレッジを達成し、理想的な境界（0.903 ± 0.013）よりも顕著に優れた経験的カバレッジ品質を示した。
• kroptデータセットでは、Cheb-SN推定量にGibbsフィッティング済みSNを適用した結果、0.840 ± 0.053の値を達成し、高次元設定下でも優れた性能を示した。
• 全ターゲットポリシーにおいて、値推定の平均二乗誤差が最小であり、全競合手法を上回るポリシー選択性能を示した。
• 乗法的バイアス制御の導入により、特に分散が高い状況下でも、加法的補正と比較してより安定的かつ正確な境界が得られた。
• 経験的結果から、ESLBを用いたSNベースの推定量は、行動ポリシーとターゲットポリシーが不一致であっても、ほぼ理想に近いカバレッジ（例：OptDigitsでは0.999 ± 0.002）を達成した。