[논문 리뷰] Instrumental Variables in Causal Inference and Machine Learning: A Survey

Anpeng Wu, Kun Kuang외 2명|arXiv (Cornell University)|2022. 12. 12.

Advanced Causal Inference Techniques인용 수 5

한 줄 요약

이 종합 검토는 인과 추론과 머신러닝 분야에서의 도구 변수(IV) 방법에 대한 포괄적인 개요를 제공하며, 선형 및 비선형 모델 전반에 걸쳐 두 단계 최소 제곱법(2SLS), 제어 함수(CFN), IV 평가 등 IV 기법을 체계적으로 분류한다. 이 논문은 유효한 IV 발견 및 측정되지 않은 혼란 요인과 같은 IV 적용의 핵심 과제를 규명하고, 데이터 기반 IV 식별 및 혼란 요인 제어와의 통합과 같은 향후 연구 방향을 제안한다.

ABSTRACT

Causal inference is the process of using assumptions, study designs, and estimation strategies to draw conclusions about the causal relationships between variables based on data. This allows researchers to better understand the underlying mechanisms at work in complex systems and make more informed decisions. In many settings, we may not fully observe all the confounders that affect both the treatment and outcome variables, complicating the estimation of causal effects. To address this problem, a growing literature in both causal inference and machine learning proposes to use Instrumental Variables (IV). This paper serves as the first effort to systematically and comprehensively introduce and discuss the IV methods and their applications in both causal inference and machine learning. First, we provide the formal definition of IVs and discuss the identification problem of IV regression methods under different assumptions. Second, we categorize the existing work on IV methods into three streams according to the focus on the proposed methods, including two-stage least squares with IVs, control function with IVs, and evaluation of IVs. For each stream, we present both the classical causal inference methods, and recent developments in the machine learning literature. Then, we introduce a variety of applications of IV methods in real-world scenarios and provide a summary of the available datasets and algorithms. Finally, we summarize the literature, discuss the open problems and suggest promising future research directions for IV methods and their applications. We also develop a toolkit of IVs methods reviewed in this survey at https://github.com/causal-machine-learning-lab/mliv.

연구 동기 및 목표

• 측정되지 않은 혼란 요인이 존재할 경우, 상관 기반 머신러닝 모델의 분포 외 일반화 성능에 대한 한계를 해결하기 위해.
• 측정되지 않은 혼란 요인이 존재하는 관찰 데이터에서 인과 추론을 위한 도구 변수(IV) 방법에 대한 체계적인 리뷰를 제공하기 위해.
• 비선형 및 고차원 모델에 IV 기법을 통합함으로써 전통적 인과 추론과 현대 머신러닝을 연결하기 위해.
• 유효한 IV 발견 및 엄격한 IV 가정을 완화하는 것과 같은 IV 적용의 열린 문제를 규명하기 위해.
• 전용 툴킷을 통해 벤치마크 데이터셋과 오픈소스 구현을 정리함으로써 재현 가능성을 증진하기 위해.

제안 방법

• IV 기법을 세 가지 유형으로 분류: IV를 사용한 두 단계 최소 제곱법(2SLS), IV를 사용한 제어 함수(CFN), IV 유효성 평가.
• 선형 및 비선형 모델 하에서 고전적 2SLS 및 CFN 추정기의 검토를 포함하며, 순수 2SLS, 실레 추정기, 비선형성에 대응하는 머신러닝 기반 2SLS를 포함한다.
• IV 식별을 위한 구조적 가정 도입: 관련성(IV가 치료에 영향을 미침), 배제 제약 조건(IV가 결과에 영향을 미치는 것은 치료를 통한 경로뿐임), 비공통 원인(결과와 공통 원인이 없음).
• 조건부 독립 검증 및 인과 발견 알고리즘을 사용한 데이터 기반 유효한 IV 발견 방법 제안.
• 드라이브(DRIVE)와 같은 프레임워크를 통해 도메인 적응을 구현하고, CiiV를 통해 적대적 로버스트성을 확보하며, IV를 활용해 도메인 불변 표현을 학습하는 방법 제안.
• 작은 규모의 임의 대조 시험(RCT)과 대규모 관찰 데이터를 융합하는 전략 제안으로, IV가 이용 가능하지 않을 경우 혼란 요인 편향을 줄이기 위함.

실험 결과

연구 질문

• RQ1 기존의 비공통 원인 가정이 실패할 경우, 측정되지 않은 혼란 요인이 존재하는 환경에서 도구 변수를 어떻게 활용하여 인과 효과를 추정할 수 있는가?
• RQ2 비선형 및 고차원 머신러닝 모델에 도구 변수를 적용하는 데 있어 주요 방법론적 발전은 무엇인가?
• RQ3 통계적 및 인과 발견 기법을 활용해 관찰 데이터에서 유효한 도구 변수를 자동으로 발견할 수 있는가?
• RQ4 기존 IV 가정(예: 배제 제약 조건)의 한계는 무엇이며, 중개 변수 또는 측정되지 않은 혼란 요인 복원 기법을 통해 이를 어떻게 완화할 수 있는가?
• RQ5 혼란 요인 제어 및 데이터 융합과의 통합을 통해 IV 기반 방법이 실세계 인과 추론의 강건성 향상에 어떻게 기여할 수 있는가?

주요 결과

• 두 단계 최소 제곱법(2SLS) 및 제어 함수(CFN) 기법은 IV 추정의 기초를 이루며, 현대적 확장 기법을 통해 비선형 및 고차원 응용에까지 적용 가능해졌다.
• 머신러닝 기반 2SLS 및 CFN 추정기는 추천 시스템 및 컴퓨터 비전과 같은 복잡한 비선형 환경에서 인과 효과 추정 성능을 크게 향상시킨다.
• 조건부 독립 검증 및 인과 발견 알고리즘을 활용해 유효한 IV를 발견할 수 있으며, 이는 자동화된 IV 식별의 길을 열어준다.
• 배제 제약 조건 가정은 여전히 가장 도전적이며 검증이 불가능하여 강력한 영역 지식 또는 구조적 모델링이 필요하다.
• 작은 규모의 RCT와 대규모 관찰 데이터의 융합은 유효한 IV가 없을 경우에도 강건한 인과 추론을 가능하게 한다.
• 광고, 의료, 강화 학습, 컴퓨터 비전 분야의 실세계 응용 사례들은 IV 기법이 모델의 안정성 및 해석 가능성 향상에 실질적인 가치를 지닌다는 것을 보여준다.