[論文レビュー] Policy Evaluation with Latent Confounders via Optimal Balance

Andrew Bennett, Nathan Kallus|arXiv (Cornell University)|Aug 6, 2019

Advanced Bandit Algorithms Research被引用数 3

ひとこと要約

本稿では、観察されない交絡要因が存在する文脈的バンディットにおける方策評価のための、新たな重要度重み付け手法を提案する。この手法は、潜在的アウトカム回帰モデルをフィッティングしないで、敵対的最適化を用いて未観測の交絡要因における最適なバランスを達成する。この方法により、一般のアウトカムモデル下でも一貫性のある推定が保証され、標準的な密度比の限界を克服する。

ABSTRACT

Evaluating novel contextual bandit policies using logged data is crucial in applications where exploration is costly, such as medicine. But it usually relies on the assumption of no unobserved confounders, which is bound to fail in practice. We study the question of policy evaluation when we instead have proxies for the latent confounders and develop an importance weighting method that avoids fitting a latent outcome regression model. Surprisingly, we show that there exist no single set of weights that give unbiased evaluation regardless of outcome model, unlike the case with no unobserved confounders where density ratios are sufficient. Instead, we propose an adversarial objective and weights that minimize it, ensuring sufficient balance in the latent confounders regardless of outcome model. We develop theory characterizing the consistency of our method and tractable algorithms for it. Empirical results validate the power of our method when confounders are latent.

研究の動機と目的

• 観察されない交絡要因が存在する文脈的バンディットにおける方策評価の課題に対処すること。
• 潜在的アウトカム回帰モデルのフィッティングを回避することで、モデル依存性を低減すること。
• プロキシと最適なバランスを活用することで、観察されない交絡要因が存在しても不偏な方策評価を実現すること。
• 一般のアウトカムモデル下での提案手法の理論的一貫性を確立すること。
• 医療分野を含む実世界の応用に実用的に導入可能な、取り扱いやすいアルゴリズムの設計

提案手法

• 行動間における潜在的交絡要因の不均衡を最小化する敵対的目的関数を提案し、アウトカムモデルの誤指定に対してもロバストであることを保証する。
• 潜在的交絡要因のプロキシを用いて、これらのプロキシが行動間でバランスする重みを構築する。
• 二重最適化フレームワークを用いた重要度重み付けにより、潜在空間における最適なバランスを達成する重みを特定する。
• 弱い正則性条件の下で推定量の一貫性を示す理論的枠組みを導入する。
• 敵対的最適化問題を解くために、ニューラルネットワークやカーネル法に基づく取り扱いやすいアルゴリズムを開発する。
• 十分なプロキシのバランスが、直接観測できない潜在的交絡要因の十分な制御を意味することを根拠とする

実験結果

リサーチクエスチョン

• RQ1 観察されない交絡要因が存在するがプロキシが利用可能な状況で、方策評価を一貫的に行うことができるか？
• RQ2 潜在的交絡要因が存在する状況で、すべてのアウトカムモデルにわたって不偏な評価を保証する一意の重みセットが存在するか？
• RQ3 プロキシにおける敵対的最適化が、標準的な重要度重み付けよりも優れたバランスと推定を達成できるか？
• RQ4 潜在的交絡要因が存在する状況で、提案手法は既存の手法と比較してバイアスと分散の点で優れているか？
• RQ5 一般のアウトカムモデル下で、推定量の一貫性についてどのような理論的保証を提供できるか？

主な発見

• 潜在的交絡要因が存在する場合、すべてのアウトカムモデルにわたって不偏な評価を保証する一意の重みセットは存在しない（交絡要因なしの状況とは異なる）。
• 提案された敵対的重み付け手法は、潜在的交絡要因のバランスを保証する目的関数を最小化することで、一貫性のある方策評価を達成する。
• この手法は、潜在的アウトカム回帰モデルのフィッティングを必要としないため、モデル依存性と複雑さが低減される。
• 弱い正則性条件の下で、プロキシおよびアウトカム分布に対する理論的分析により、推定量の一貫性が確立される。
• 実験結果は、強い潜在的交絡要因が存在する設定で、ベースライン手法を上回る性能を示している。
• アウトカムモデルの誤指定に対してもロバストであるため、医療分野を含む実世界の応用に適している。