[論文レビュー] Sense and Sensitivity Analysis: Simple Post-Hoc Analysis of Bias Due to Unobserved Confounding

Victor Veitch, Anisha Zaveri|arXiv (Cornell University)|Mar 3, 2020

Advanced Causal Inference Techniques参考文献 21被引用数 17

ひとこと要約

この論文では、観測されない交絡要因の影響の最小強度を、治療と結果への影響の両方にわたる観測されない交絡要因の影響を可視化することで、観測されない交絡要因によるバイアスを定量化するpost-hoc感度分析ツール「Austenプロット」を紹介する。因果モデルと感度分析を分離することで、観測データに対して任意の機械学習モデルと組み合わせて使用可能であり、観測されない交絡要因へのロバストネスに関する直感的で解釈可能な視覚的判断を可能にする。

ABSTRACT

It is a truth universally acknowledged that an observed association without known mechanism must be in want of a causal estimate. However, causal estimation from observational data often relies on the (untestable) assumption of `no unobserved confounding'. Violations of this assumption can induce bias in effect estimates. In principle, such bias could invalidate or reverse the conclusions of a study. However, in some cases, we might hope that the influence of unobserved confounders is weak relative to a `large' estimated effect, so the qualitative conclusions are robust to bias from unobserved confounding. The purpose of this paper is to develop \emph{Austen plots}, a sensitivity analysis tool to aid such judgments by making it easier to reason about potential bias induced by unobserved confounding. We formalize confounding strength in terms of how strongly the confounder influences treatment assignment and outcome. For a target level of bias, an Austen plot shows the minimum values of treatment and outcome influence required to induce that level of bias. Domain experts can then make subjective judgments about whether such strong confounders are plausible. To aid this judgment, the Austen plot additionally displays the estimated influence strength of (groups of) the observed covariates. Austen plots generalize the classic sensitivity analysis approach of Imbens [Imb03]. Critically, Austen plots allow any approach for modeling the observed data and producing the initial estimate. We illustrate the tool by assessing biases for several real causal inference problems, using a variety of machine learning approaches for the initial data analysis. Code is available at https://github.com/anishazaveri/austen_plots

研究の動機と目的

• 標準的な仮定が検証不能な状況下で、観察的因果推論における観測されない交絡要因に起因するバイアスを評価する課題に対処すること。
• 観測データに使用された特定のモデルに依存しない感度分析手法を開発することにより、現代の機械学習手法と組み合わせて使用可能にする。
• 研究者が観測された関連性を説明できる可能性のある観測されない交絡要因が実際に存在するかどうかを判断するのに役立つ、視覚的かつ解釈可能なツール（Austenプロット）を提供すること。
• 観測データからの因果推論の信頼性を高めるために、観測されない交絡要因に対するロバストネスのチェックを可能にすること。
• 因果推論における機械学習の採用を促進するために、モデルの適合と感度分析を分離すること。

提案手法

• Austenプロットは、推定された治療効果に特定のレベルのバイアスを引き起こすために必要な、観測されない交絡要因が治療割り当ておよび結果に与える影響の最小限の連合的影響を可視化する。
• この手法は、部分決定係数（partial R-squared）の観点から交絡要因の強度を形式化する：観測された共変量が与えられたもとでの、観測されない交絡要因の治療への影響（R²）および治療と観測共変量が与えられたもとでの結果への影響（R²）。
• 特定のバイアスレベルに対して、そのバイアスを引き起こすすべての治療および結果への影響（R²値の組み合わせ）の等高線がプロットに表示される。
• 結果と治療のための適合モデルに基づくプラグイン推定器を用いることで、複雑な機械学習モデルを含む任意のデータ分析パイプラインの後に適用可能である。
• 観測共変量は、治療および結果への影響を計算することでキャリブレーションされ、その影響は比較のための基準点としてAustenプロット上にドットとしてプロットされる。
• ブートストラップによる信頼区間を用いて影響推定値の不確実性を定量化するが、この手法は計算コストの高さと推定の非効率性を認識している。

実験結果

リサーチクエスチョン

• RQ1 完全なデータ生成過程に関するパラメトリックな仮定を必要とせずに、観測されない交絡要因のための感度分析を実施できるか？
• RQ2 現代的で柔軟な機械学習モデルが因果推論に使用される状況において、感度分析をどのように適合させることができるか？
• RQ3 研究者が、実際に観測された治療効果を説明できる可能性のある観測されない交絡要因が存在するかどうかを判断するのに役立つ視覚的および定量的ツールは何か？
• RQ4 観測共変量の影響をどのようにキャリブレーションすれば、感度プロット上で意味のある参照点を提供できるか？
• RQ5 コリーダーバイアスや変数の省略効果の影響によって、Austenプロットが誤った解釈を引き起こす可能性がある状況はどのようなものか？

主な発見

• Austenプロットにより、研究者は観測された治療効果が観測されない交絡要因によって説明可能であるかどうかを、交絡要因の影響強度が必要としているかを可視化することで評価できる。
• 血圧研究における患者の年齢の影響と同等の影響を持つ観測されない交絡要因が、約2のバイアスを引き起こす可能性がある。
• この手法により、ベイジアン加法的回帰木やロジスティック回帰を含む、あらゆるモデルを観測データに使用した後でも、post-hoc感度分析を実施可能であり、再推定を必要としない。
• 観測共変量は、仮説的な観測されない交絡要因と比較可能な参照点としてAustenプロット上にマッピング可能であり、直感的な比較が可能になる。
• このアプローチは計算的に実行可能で、複雑なモデルに対してもスケーラブルであるが、ブートストラップによる不確実性の定量化は計算コストが高いため注意が必要。
• 特にコリーダーバイアスの下で、観測済みおよび未観測の交絡要因が相関している場合、解釈の落とし穴が顕在化する可能性があり、観測済みと未観測の影響を単純に比較すべきではないと警告している。