[論文レビュー] Sensitivity Analysis in the Generalization of Experimental Results

Yingyu Huang|arXiv (Cornell University)|Feb 7, 2022

Advanced Causal Inference Techniques被引用数 8

ひとこと要約

本稿では、重み付き推定量を用いた一般化された実験的因果効果のバイアスを評価するための3パラメータ感受性分析フレームワークを提案する。バイアスは、有界で解釈可能な成分に分解される——共変量の不均衡（R²ε）、治療効果の異質性（ρε,τ）、選択感受性（kσ）——これにより、パrametricな仮定を必要とせず、未観測の交絡要因に対しても頑健な妥当性チェックが可能となる。JTPAデータへの応用では、オマハに比べコーパスクリスティの感受性が顕著に高いことが示された。

ABSTRACT

Randomized controlled trials (RCT's) allow researchers to estimate causal effects in an experimental sample with minimal identifying assumptions. However, to generalize or transport a causal effect from an RCT to a target population, researchers must adjust for a set of treatment effect moderators. In practice, it is impossible to know whether the set of moderators has been properly accounted for. In the following paper, I propose a three parameter sensitivity analysis for generalizing or transporting experimental results using weighted estimators, with several advantages over existing methods. First, the framework does not require assumptions on the underlying data generating process for either the experimental sample selection mechanism or treatment effect heterogeneity. Second, I show that the sensitivity parameters are guaranteed to be bounded and propose several tools researchers can use to perform sensitivity analysis: (1) graphical and numerical summaries for researchers to assess how robust a point estimate is to killer confounders; (2) an extreme scenario analysis; and (3) a formal benchmarking approach for researchers to estimate potential sensitivity parameter values using existing data. Finally, I demonstrate that the proposed framework can be easily extended to the class of doubly robust, augmented weighted estimators. The sensitivity analysis framework is applied to a set of Jobs Training Program experiments.

研究の動機と目的

• ランダム化比較試験（RCT）の結果をターゲット集団に一般化する際の未観測の交絡要因の課題に対処すること。
• データ生成プロセスに関するパrametricな仮定に依存しない感受性分析フレームワークを開発すること。
• 輸送可能性設定における重み付き推定量の頑健性を評価するための有界で解釈可能な感受性パrameterを提供すること。
• 研究者が既存のデータを用いて潜在的な交絡要因の影響をベンチマーク化できるようにすること。
• より優れた推論を実現するため、二重ロバストおよび増強重み付き推定量へのフレームワークの拡張を図ること。

提案手法

• 重み付き推定量のバイアスを、共変量の不均衡（R²ε）、治療効果の異質性（ρε,τ）、選択感受性（kσ）という3つの有界な成分に分解する。
• 観測された共変量を代理として用いる形式的ベンチマーク手法により、感受性パrameterの妥当な値を推定する。
• バイアスの等高線図や極端なシナリオ分析を含む、図的および数値的手法を用いて、未観測の交絡要因に対する感受性を可視化する。
• 点推定を逆転させるために必要な未観測交絡要因の強度を定量化する「最小要請交絡要因強度（MRCS）」指標を導入する。
• 二重ロバストおよび増強重み付き推定量にフレームワークを適用し、頑健性と効率性を向上させる。
• ジョブズトレーニングプログラム（JTPA）の実証データを用いて、異なる地域で本手法の実用的有用性を示す。

Figure 1: Bias Contour Plot for Omaha, Nebraska. The blue region represents the killer confounder region. Whether or not the killer confounder region is large or small (and by extension, the robustness value) can be difficult to justify. To aid in our discussion, we use formal benchmarking (introduc

実験結果

リサーチクエスチョン

• RQ1 研究者が特定のデータ生成プロセスに関する仮定をせず、未観測の交絡要因に対する一般化の点推定の妥当性をどのように評価できるか。
• RQ2 輸送可能性設定において、欠落した治療効果モダレーターが引き起こすバイアスを捉えるために、有界で解釈可能なパラメータとして何が適切か。
• RQ3 研究者が実験集団およびターゲット集団からの既存データを用いて、感受性パラメータの妥当な値をどのようにベンチマーク化できるか。
• RQ4 点推定の感受性は、異なる実験的サイト間でどの程度異なるか、そしてその差をどのように定量化できるか。
• RQ5 提案された感受性分析を、二重ロバストおよび増強重み付き推定量に拡張可能か。

主な発見

• 提案された感受性パラメータ（R²ε、ρε,τ、kσ）は、有界であることが保証されており、研究者が固定された解釈可能な範囲内で頑健性を評価できる。
• JTPAへの応用において、テキサス州コーパスクリスティのサイトは、ネブラスカ州オマハに比べ、未観測の交絡要因に対して顕著に高い感受性を示した。MRCSはコーパスクリスティで1.52、オマハで9.31であった。
• 形式的ベンチマークにより、『ヒスパニック』または『ブラック』のルックと同程度の交絡強度を持つ交絡要因が、コーパスクリスティでは点推定をほぼゼロにまで低下させうることが明らかになった。
• バイアスの等高線図は、コーパスクリスティにおける「キラーハイブリッド交絡要因領域」がオマハに比べて顕著に広がっており、未観測交絡に対する脆弱性が大きいことを視覚的に確認した。
• コーパスクリスティの重み付き推定量は、オマハに比べてバイアスの潜在的リスクが高かった。これはベンチマークおよび等高線図の結果と整合的であった。
• コーパスクリスティの点推定値0.73は、ベンチマークPATEの1.37に比べて信頼性が低く、輸送可能性における不確実性がより大きいことを示唆した。

Figure 3: Bias Contour Plot for Omaha, Nebraska, using an Augmented Weighted Estimator. Akin to Figure 1 , the shaded blue region represents the killer confounder region, for which a confounder will result in a directional change of the point estimate. We also plot the formal benchmarking results. W