[論文レビュー] Off-policy Policy Evaluation For Sequential Decisions Under Unobserved Confounding

Hongseok Namkoong, Ramtin Keramati+2 more|arXiv (Cornell University)|Mar 12, 2020

Health Systems, Economic Evaluations, Quality of Life参考文献 55被引用数 18

ひとこと要約

本稿では、観察されない交絡要因が存在する状況下での逐次的意思決定のためのロバストな非政策的評価（OPE）手法を提案する。特に、潜在的交絡要因が影響を及ぼすのは1つの意思決定に限られる状況に焦点を当てる。関数的凸双対性と損失最小化手順を用いて、統計的に一貫性のある最悪ケース性能バウンドを計算し、標準的なOPE手法が潜在要因によってバイアスを受ける場合でも、信頼性のあるポリシー評価を可能にする。

ABSTRACT

When observed decisions depend only on observed features, off-policy policy evaluation (OPE) methods for sequential decision making problems can estimate the performance of evaluation policies before deploying them. This assumption is frequently violated due to unobserved confounders, unrecorded variables that impact both the decisions and their outcomes. We assess robustness of OPE methods under unobserved confounding by developing worst-case bounds on the performance of an evaluation policy. When unobserved confounders can affect every decision in an episode, we demonstrate that even small amounts of per-decision confounding can heavily bias OPE methods. Fortunately, in a number of important settings found in healthcare, policy-making, operations, and technology, unobserved confounders may primarily affect only one of the many decisions made. Under this less pessimistic model of one-decision confounding, we propose an efficient loss-minimization-based procedure for computing worst-case bounds, and prove its statistical consistency. On two simulated healthcare examples---management of sepsis patients and developmental interventions for autistic children---where this is a reasonable model of confounding, we demonstrate that our method invalidates non-robust results and provides meaningful certificates of robustness, allowing reliable selection of policies even under unobserved confounding.

研究の動機と目的

• 逐次的意思決定における観察されない交絡要因の影響を受ける標準的なOPE手法が、隠れた変数が意思決定と結果に影響を与えるために失敗するという、深刻な課題に対処すること。
• 観察されない交絡要因がシーケンス内の1つの意思決定にのみ影響を与える設定において、その影響がOPE推定値に与える影響を定量化する感度分析フレームワークを構築すること。
• 観察されない交絡要因が有限範囲に制限される条件下で、評価ポリシーの性能に対する統計的に一貫性のある計算可能な最悪ケースバウンドを提供することにより、交絡要因が存在する状況でも信頼性のあるポリシー選択を可能にすること。
• sepsis管理や自閉症介入といった実世界の医療応用において、交絡要因が妥当に想定されるが、1つの意思決定ポイントに限定される状況で、本手法の実用的有用性を示すこと。
• 凸双対性と重要度サンプリングを活用して、既存の単一意思決定交絡モデルを逐次設定に拡張することにより、計算の実行可能性と理論的整合性を保証すること。

提案手法

• 意思決定のシーケンス内で1つの意思決定にのみ潜在変数が影響を与えるという、限定的でより楽観的な仮定に基づく、有界な観察されない交絡要因モデルを提案する。
• 関数的凸双対性を用いて、最悪ケース性能推定問題の双対緩和を導出し、凸最適化問題に変換する。
• ニューラルネットワークとバックプロパゲーションを用いて重み付き二乗損失最小化問題を解くことで、最悪ケースバウンドを計算する損失最小化に基づく手順を開発する。
• 重要度サンプリングを用いて観察された特徴を補正し、バウンズが観察された行動ポリシーに適合するようにし、観察データと整合性を保つ。
• 損失最小化目的関数を推定するために4層のReLUニューラルネットワークを用い、Adam最適化を適用する。観察されない交絡要因が存在しない状況では、ロジスティック回帰を用いてマージナライズド行動ポリシーをモデル化する。
• 最悪ケースバウンド推定器の経験的近似の統計的整合性を証明し、標本サイズが増加するに従い収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 観察されない交絡要因、特にシーケンス内の1つの意思決定にのみ影響を与える場合、標準的な非政策的評価（OPE）手法の信頼性にどのような影響を与えるか？
• RQ2 有界な観察されない交絡要因下でも有効である、評価ポリシーの最悪ケース性能バウンドを計算できるか？
• RQ3 本手法は、現実の医療応用において、観察されない交絡要因に対するOPE結果のロバストネスをどの程度検証できるか？
• RQ4 交絡要因下でポリシーの優位性を検出できる能力と設計感受性の観点から、本手法はナーブな感度分析アプローチと比べてどのように異なるか？
• RQ5 観察されない交絡要因が存在する状況下で、最悪ケースバウンドを計算するための損失最小化手順の統計的整合性はどの程度か？

主な発見

• sepsis管理のシミュレーションでは、標準的なOPEは、やや強い交絡要因（Γ=2.0）下で、適応的ポリシーの性能を最大20%過大評価していた。これは、誤ったポリシー優位性を示唆する。
• 提案手法は、Γ=2.0でもOPE推定値が許容可能な範囲を超えてバイアスを受ける可能性があることを検出しており、観察されない交絡要因が存在する状況では、標準的なOPEによる結論が無効であることを示している。
• 2番目のシナリオでは、適応的ポリシーが真に優位であったが、本手法はその利点をΓ=4.2まで検証できた。これは、非自明なレベルの交絡要因に対してもロバストであることを示している。
• 本手法の設計感受性はΓ=2.78に達し、ナーブなアプローチ（Γ=1.32）を著しく上回っており、交絡要因下でもポリシー性能を検証する能力が優れていることを示している。
• 本手法は、真の性能が逆転しているにもかかわらず、OPEにおいて非適応的ポリシーが誤って適応的ポリシーを上回る結果を示す可能性があることを明確に特定した。
• 経験的結果から、損失最小化手順が、中程度のホライズンにおける高次元で連続的な状態空間および報酬空間において、一貫性があり効果的であることが示された。