[論文レビュー] Confounding-Robust Policy Improvement

Nathan Kallus, Angela Zhou|arXiv (Cornell University)|May 22, 2018

Advanced Causal Inference Techniques参考文献 61被引用数 33

ひとこと要約

本稿では、観察データにおける未観測の交絡要因を考慮するために、感受性重みの不確実性集合上で最悪事態の後悔を最小化する、交絡要因に強い方策改善手法を提案する。境界付きの交絡要因のもとで最悪事態の後悔を最適化することにより、方策の安全性を保証し、すべての可能な母集団後悔の範囲に対して最良の均一な制御を達成する。合成データおよびホルモン補充療法の事例研究において、従来の交絡なしを仮定する手法に比べて優れた性能を示した。

ABSTRACT

We study the problem of learning personalized decision policies from observational data while accounting for possible unobserved confounding. Previous approaches, which assume unconfoundedness, i.e., that no unobserved confounders affect both the treatment assignment as well as outcome, can lead to policies that introduce harm rather than benefit when some unobserved confounding is present, as is generally the case with observational data. Instead, since policy value and regret may not be point-identifiable, we study a method that minimizes the worst-case estimated regret of a candidate policy against a baseline policy over an uncertainty set for propensity weights that controls the extent of unobserved confounding. We prove generalization guarantees that ensure our policy will be safe when applied in practice and will in fact obtain the best-possible uniform control on the range of all possible population regrets that agree with the possible extent of confounding. We develop efficient algorithmic solutions to compute this confounding-robust policy. Finally, we assess and compare our methods on synthetic and semi-synthetic data. In particular, we consider a case study on personalizing hormone replacement therapy based on observational data, where we validate our results on a randomized experiment. We demonstrate that hidden confounding can hinder existing policy learning approaches and lead to unwarranted harm, while our robust approach guarantees safety and focuses on well-evidenced improvement, a necessity for making personalized treatment policies learned from observational data reliable in practice.

研究の動機と目的

• 既存の方策学習手法が交絡なしを仮定するという、検証不能で実際にはしばしば破綻するという根本的な制限に対処すること。
• 未観測の交絡因子を伴う観察データに適用する際の、方策の安全性と信頼性を保証すること。
• 反事後的要因が点特定不能である場合でも、境界付きの交絡要因のもとで後悔制御の理論的保証を提供すること。
• 合成データおよび観察データとランダム化比較試験データを用いたホルモン補充療法の事例研究を通じて、この手法の妥当性を検証すること。
• 標準的な方策学習が隠れた交絡要因のもとで害を及ぼす可能性があるのに対し、提案手法がそのようなリスクを回避することを示すこと。

提案手法

• 感受性重みの不確実性集合を構築し、潜在的アウトカムのオッズ比の境界に基づいて、未観測の交絡要因の程度を制御する。
• この不確実性集合上で、候補方策のベースライン方策に対する推定後悔の最悪事態を最小化するロバスト最適化問題を定式化する。
• 再帰的分割アルゴリズムを用い、共変量空間の分割と方策割り当てを同時に最適化することで、後悔最小化を改善する。
• 分割の選択を貪欲に実行し、治療割り当てと分割意思決定を同時に考慮した方策割り当て目的関数の変化に基づく。
• 交絡要因の異なるレベルにおける後悔目的関数のスカラー化を、λでパrameter化することで、ロバストネスと性能のバランスを取る。
• 仮定された交絡要因レベルと整合するすべての可能な母集団後悔の範囲に対して、最良の均一な制御を達成する一般化保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 交絡なしを仮定しないで、観察データからの方策学習を未観測の交絡要因に対してロバストにできるか？
• RQ2 交絡要因によって反事後的要因が点特定不能である場合、得られる後悔の最良の均一な制御は何か？
• RQ3 隠れた交絡要因のもとで、提案されたロバスト方策は、標準的な交絡なしに基づく手法と比べて安全性と性能で優れているか？
• RQ4 有害な影響を引き起こさずに、パーソナライズド治療における根拠のある改善を信頼性を持って同定できるか？
• RQ5 ホルモン補充療法のような既知の交絡要因がある実世界の事例研究において、この手法はどのように性能を発揮するか？

主な発見

• 提案手法は、感受性重みの不確実性集合上で最悪事態の後悔を最小化することで、未観測の交絡要因が存在する状況でも、方策が害を及ぼさないことを保証する。
• WHIの事例研究において、標準的な方策学習手法は隠れた交絡要因のもとで負の後悔（すなわち、害）を示したが、ロバスト手法は全テストされた交絡要因レベルで正またはほぼゼロの後悔を維持した。
• log(Γ) = 0.05 で後悔が -0.50 に達し、log(Γ) = 1.0 で 0.08 に改善された。これは、交絡要因の境界が拡大する中でも一貫した改善を示している。
• アルゴリズムは、ランダム化比較試験の結果と整合する治療ルールを効果的に同定し、実務での信頼性を裏付けた。
• 感度分析の結果、主要な共変量を除外しても手法は依然としてロバストであり、大多数のオッズ比が [0.8, 1.2] の範囲に集中しており、軽度の交絡を示した。
• 再帰的分割アルゴリズムは、強力な実証的性能を示す方策を効率的に計算でき、スケーラビリティと実用的有用性を示した。