[논문 리뷰] Sense and Sensitivity Analysis: Simple Post-Hoc Analysis of Bias Due to Unobserved Confounding

Victor Veitch, Anisha Zaveri|arXiv (Cornell University)|2020. 03. 03.

Advanced Causal Inference Techniques참고 문헌 21인용 수 17

한 줄 요약

이 논문은 사후 민감도 분석 도구인 Austen 플롯을 소개한다. 이 도구는 관측되지 않은 교란 요인의 영향력이 주어진 편향을 설명하기 위해 필요한 최소한의 영향력을 시각화하여, 관측되지 않은 교란 요인에 의한 편향을 정량화한다. 이는 인과 모델링과 민감도 분석을 분리함으로써, 관측 데이터에 대해 어떤 기계학습 모델을 사용하든 적용 가능하게 하며, 관측되지 않은 교란 요인에 대한 강건성에 대한 직관적이고 해석 가능한 시각적 판단을 제공한다.

ABSTRACT

It is a truth universally acknowledged that an observed association without known mechanism must be in want of a causal estimate. However, causal estimation from observational data often relies on the (untestable) assumption of `no unobserved confounding'. Violations of this assumption can induce bias in effect estimates. In principle, such bias could invalidate or reverse the conclusions of a study. However, in some cases, we might hope that the influence of unobserved confounders is weak relative to a `large' estimated effect, so the qualitative conclusions are robust to bias from unobserved confounding. The purpose of this paper is to develop \emph{Austen plots}, a sensitivity analysis tool to aid such judgments by making it easier to reason about potential bias induced by unobserved confounding. We formalize confounding strength in terms of how strongly the confounder influences treatment assignment and outcome. For a target level of bias, an Austen plot shows the minimum values of treatment and outcome influence required to induce that level of bias. Domain experts can then make subjective judgments about whether such strong confounders are plausible. To aid this judgment, the Austen plot additionally displays the estimated influence strength of (groups of) the observed covariates. Austen plots generalize the classic sensitivity analysis approach of Imbens [Imb03]. Critically, Austen plots allow any approach for modeling the observed data and producing the initial estimate. We illustrate the tool by assessing biases for several real causal inference problems, using a variety of machine learning approaches for the initial data analysis. Code is available at https://github.com/anishazaveri/austen_plots

연구 동기 및 목표

• 표준 가정이 검증되지 않을 때 관측되지 않은 교란 요인에 의한 편향을 평가하는 데 도전하는 것.
• 관측 데이터에 사용된 특정 모델에 종속되지 않는 민감도 분석 방법을 개발하여 현대적인 기계학습 접근법과의 호환성을 확보하는 것.
• 연구자가 관측된 연관성을 설명할 수 있는 타당한 관측되지 않은 교란 요인이 존재할 수 있는지 판단하는 데 도움이 되는 시각적이고 해석 가능한 도구—Austen 플롯을 제공하는 것.
• 관측 데이터에서 유도된 인과 추론의 신뢰성을 높이기 위해 관측되지 않은 교란 요인에 대한 강건성 검증을 가능하게 하는 것.
• 모델 피팅과 민감도 분석을 분리함으로써 기계학습의 인과 추론 분야에서의 도입을 촉진하는 것.

제안 방법

• Austen 플롯은 추정된 치료 효과에 타겟 수준의 편향을 유도하기 위해 필요한, 관측되지 않은 교란 요인이 치료 배정과 결과에 미치는 최소한의 통합적 영향을 시각화한다.
• 이 방법은 부분 결정계수 값(R²)을 통해 교란 요인의 강도를 수식화한다: 관측된 공변량을 고려할 때 관측되지 않은 교란 요인이 치료에 미치는 영향의 R², 그리고 치료와 관측된 공변량을 고려할 때 결과에 미치는 영향의 R².
• 주어진 편향 수준에 대해, 그 편향을 유도할 수 있는 치료 및 결과 영향(R² 값 조합)의 등고선을 보여준다.
• 이 방법은 결과 및 치료 모델에 대한 피팅된 모델 기반의 플러그인 추정량을 사용하므로, 복잡한 기계학습 모델을 포함한 모든 데이터 분석 파이프라인 이후에도 적용 가능하다.
• 관측된 공변량은 치료와 결과에 미치는 영향을 계산하여 校정(calibration)하고, 이들의 영향은 비교를 위해 Austen 플롯 상의 점으로 표시된다.
• 부트스트랩 신뢰구간을 사용하여 영향 추정치의 불확실성을 정량화하지만, 이 방법은 계산 비용과 추정 비효율성에 대한 경고를 수반한다.

실험 결과

연구 질문

• RQ1 전체 데이터 생성 과정에 대한 비모수적 가정이 필요 없이, 관측되지 않은 교란 요인에 대한 민감도 분석을 수행할 수 있는가?
• RQ2 현대적이고 유연한 기계학습 모델이 인과 추론에 사용될 때, 민감도 분석이 어떻게 호환될 수 있는가?
• RQ3 연구자가 관측된 치료 효과를 설명할 수 있는 타당한 관측되지 않은 교란 요인이 실제로 존재할 수 있는지 판단하는 데 도움이 되는 시각적 및 정량적 도구는 무엇인가?
• RQ4 관측된 공변량의 영향을 어떻게 校정하여 민감도 플롯에 의미 있는 기준점으로 제공할 수 있는가?
• RQ5 콜라이더 편향 또는 생략된 변수 효과로 인해 Austen 플롯이 잘못된 해석을 유도할 수 있는 상황은 어떤가?

주요 결과

• Austen 플롯을 통해 연구자는 관측된 치료 효과가 관측되지 않은 교란 요인에 의해 설명될 수 있는지, 교란 요인의 영향력이 얼마나 되어야 하는지를 시각적으로 평가할 수 있다.
• 혈압 연구에서 환자 연령의 영향력과 유사한 관측되지 않은 교란 요인이 존재할 경우, 약 2의 편향을 유도할 수 있으며, 이는 명시된 치료 효과와 일치한다.
• 이 방법은 어떤 모델을 사용한 관측 데이터에 대해서도 재추정이 필요 없이 사후 민감도 분석을 가능하게 한다. 예를 들어 베이지안 추가 회귀 트리(Bayesian Additive Regression Trees)나 로지스틱 회귀 모델 등.
• 관측된 공변량은 참조점으로서 Austen 플롯 상에 매핑될 수 있어, 가상의 관측되지 않은 교란 요인과 직관적으로 비교할 수 있다.
• 이 방법은 계산적으로 실현 가능하고 복잡한 모델에 대해서도 확장 가능하지만, 부트스트랩을 통한 불확실성 정량화는 계산 비용이 높다.
• 관측된 교란 요인과 관측되지 않은 교란 요인이 상관관계가 있을 경우, 특히 콜라이더 편향 상황에서 잘못된 해석의 위험이 있다는 점을 강조하며, 관측된 영향과 관측되지 않은 영향을 단순히 비교하는 것에 대한 경계를 당부한다.