[論文レビュー] Sensitivity Analysis of Individual Treatment Effects: A Robust Conformal Inference Approach

Ying Jin, Zhimei Ren+1 more|arXiv (Cornell University)|Nov 23, 2021

Advanced Causal Inference Techniques参考文献 42被引用数 4

ひとこと要約

本稿は、測定されていない交絡要因が存在する状況下での個別処置効果（ITE）の感度分析のためのモデルフリーで、適合性推論に基づく枠組みを提案する。この研究では、正のITEを説明可能にするために必要な最小限の交絡強度を測る「\Gamma値」を導入し、交絡が存在する場合でも反事後予測の有効なマージナルカバレッジを保証する。理論的保証はマージナル感度モデルの下で得られる。

ABSTRACT

We propose a model-free framework for sensitivity analysis of individual treatment effects (ITEs), building upon ideas from conformal inference. For any unit, our procedure reports the $Γ$-value, a number which quantifies the minimum strength of confounding needed to explain away the evidence for ITE. Our approach rests on the reliable predictive inference of counterfactuals and ITEs in situations where the training data is confounded. Under the marginal sensitivity model of Tan (2006), we characterize the shift between the distribution of the observations and that of the counterfactuals. We first develop a general method for predictive inference of test samples from a shifted distribution; we then leverage this to construct covariate-dependent prediction sets for counterfactuals. No matter the value of the shift, these prediction sets (resp. approximately) achieve marginal coverage if the propensity score is known exactly (resp. estimated). We describe a distinct procedure also attaining coverage, however, conditional on the training data. In the latter case, we prove a sharpness result showing that for certain classes of prediction problems, the prediction intervals cannot possibly be tightened. We verify the validity and performance of the new methods via simulation studies and apply them to analyze real datasets.

研究の動機と目的

• 測定されていない交絡要因が存在する状況下での個別処置効果（ITE）の感度分析のためのモデルフリーな枠組みを開発すること。
• 正のITE予測を無効にするために必要な最小限の交絡強度を特定することで、ITE推論のロバストネスを定量化すること。
• 交絡による分布シフトが生じる状況下でも、反事後予測およびITEの予測区間の有効なマージナルカバレッジを保証すること。
• 感受性スコアが正確に分かっていない場合でも、有効な推論を維持する手順を提供すること。
• 特定の条件下で、予測区間をそれ以上に狭めることは不可能であることを示すシャープネス結果を提示すること。

提案手法

• 測定されていない交絡要因が存在する場合の観測分布と反事後分布のシフトを、マージナル感度モデル（Tan, 2006）を用いて特徴付ける。
• 分布シフト下での予測的推論の一般的手法を開発し、テストサンプルに対する信頼性の高い反事後予測を可能にする。
• 感受性スコアが推定されている場合でも、反事後およびITEの共変量依存予測集合を構築し、近似的なマージナルカバレッジを達成する。
• 適合性推論を用いて、仮定されたシフトモデル下で有効な予測区間を生成し、カバレッジに関する理論的保証を得る。
• 訓練データに基づく条件付きカバレッジを達成する別個の手順を導入し、予測区間最適性に関するシャープネス結果を証明する。
• 最悪ケースの分布シフトを活用して、反事後期待値の鋭い境界を計算し、不確実性下でもロバストな推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 観察研究において、測定されていない交絡要因が個別処置効果推定に与える影響をどのように評価できるか？
• RQ2 ある単位の正のITE予測を説明可能にするために、測定されていない交絡要因が要る最小限の強度は何か？
• RQ3 訓練データが交絡しており、無視可能性仮定が成り立たない状況下でも、反事後およびITEの有効な予測区間を構築できるか？
• RQ4 提案手法は感受性スコアが推定されている場合でもどのようにカバレッジを維持するのか？また、予測区間のシャープネスに関する理論的限界は何か？
• RQ5 この枠組みは、複数のITEに対する同時推論に拡張可能で、適切な誤差制御が可能か？

主な発見

• マインドセット介入に関する実データセットでは、20.46%の処置済みテストサンプルが\Gamma > 1の\Gamma値を示し、やや強い交絡下でも正のITEの強固な証拠があることを示している。
• \Gamma=2のとき、処置済みテストサンプルのうち6.80%しか\Gamma値が2を超えておらず、中程度の交絡下でも正のITEに対する強い証拠が持続していることが示された。
• アルゴリズム1では2%のテストサンプルが\Gamma値5を超えており、アルゴリズム2では2.5%が\Gamma値10を超えており、一部の個人に対して強いロバストネスが確認された。
• この手法により、交絡強度\Gamma下で、誤って負のITEを正と分類する確率が\alpha=0.1以下に抑えられることが保証された。
• 実証的評価では、\Gamma=1のとき、処置済みテストサンプルのうち3.58%が誤って正のITEを持つと分類されたが、誤差率は\Gamma値が上昇してもわずかに増加したにとどまった。
• アルゴリズム2は交絡に対する証拠をわずかに強く示したが、アルゴリズム1よりも安定性に欠けていた。両手法とも理論的保証に基づき、有効なカバレッジを維持していた。