[논문 리뷰] Deep Multi-Modal Structural Equations For Causal Effect Estimation With Unstructured Proxies

Shachi Deshpande, Kaiwen Wang외 3명|arXiv (Cornell University)|2022. 03. 18.

Advanced Causal Inference Techniques인용 수 4

한 줄 요약

이 논문은 깊이 있는 다중모달 구조 방정식(DMSE)을 제안하며, 이는 구조화되지 않은 다중모달 대체자(예: 이미지, 텍스트, 시계열)를 사용하여 관측되지 않은 혼란 변수를 추론함으로써 인과 효과를 추정하는 생성 모델이다. 혼란 변수를 잠재 변수로 모델링하고 변분 추론을 활용함으로써, 고유전체 및 환경 데이터가 고차원인 GWAS 작업에서 기존의 경향 스코어 기반 방법보다 우수한 성능을 보이며 인과 효과 추정을 향상시킨다.

ABSTRACT

Estimating the effect of intervention from observational data while accounting for confounding variables is a key task in causal inference. Oftentimes, the confounders are unobserved, but we have access to large amounts of additional unstructured data (images, text) that contain valuable proxy signal about the missing confounders. This paper argues that leveraging this unstructured data can greatly improve the accuracy of causal effect estimation. Specifically, we introduce deep multi-modal structural equations, a generative model for causal effect estimation in which confounders are latent variables and unstructured data are proxy variables. This model supports multiple multi-modal proxies (images, text) as well as missing data. We empirically demonstrate that our approach outperforms existing methods based on propensity scores and corrects for confounding using unstructured inputs on tasks in genomics and healthcare. Our methods can potentially support the use of large amounts of data that were previously not used in causal inference

연구 동기 및 목표

• 관측되지 않은 혼란 변수가 존재하지만 이미지, 텍스트, 시계열과 같은 구조화되지 않은 데이터에서 대체 신호가 존재하는 경우 인과 효과를 추정하는 데 도전하는 것.
• 기존의 경향 스코어 방법이 고차원적이거나 변동성이 큰 예측으로 인해 실패하는 관찰 연구에서, 풍부한 다중모달 대체자 데이터를 활용하여 인과 효과 추정을 향상시키는 방법을 개발하는 것.
• 기존에 사용되지 않았던 '다크 데이터'(예: 임의의 구조화되지 않은 데이터)를 관측되지 않은 혼란 변수의 대체 변수로 모델링함으로써 인과 추론에 활용할 수 있도록 하는 것.
• 결측 데이터와 고차원 치료 변수를 지원하는 생성 모델 기반의 변분 추론 프레임워크를 제공함으로써 기존 접근 방식의 불안정성 문제를 해결하는 것.

제안 방법

• 혼란 변수를 잠재 변수로 모델링하고, 이미지, 텍스트, 센서 데이터 등과 같은 다중모달 구조화되지 않은 데이터를 대체 변수로 사용하여 관측되지 않은 혼란 변수를 추론한다.
• 인과 그래프 x_j → z → t, y를 갖는 구조 방정식 모델을 사용하며, 여기서 x_j는 대체 변수, z는 잠재 혼란 변수, t는 치료, y는 결과이다.
• 변분 추론을 사용하여 p(z|x,t,y)의 후행 분포를 근사하며, 재구성 손실과 KL 발산 항을 포함하는 변분 하한(ELBO)을 최소화한다.
• 실제 목표 함수는 다중모달 대체 변수 재구성과 사전 정규화를 결합하여 엔드 투 엔드 학습을 가능하게 한다.
• 대체 변수의 차원 수가 혼란 변수의 차원 수를 초과할 경우 식별 가능성을 확보하기 위해 고차원 대체 변수의 차원 감소(예: PCA 또는 신경망 임bedding)를 지원한다.
• 고차원 치료 변수와 완전하지 않은 데이터에 자연스럽게 확장 가능하여 실제 유전체학 및 의료 응용 분야에 적합하다.

실험 결과

연구 질문

• RQ1 구조화되지 않은 다중모달 데이터(예: 이미지, 텍스트, 센서 데이터)를 효과적으로 활용하여 혼란 변수가 관측되지 않을 경우 인과 효과 추정을 향상시킬 수 있는가?
• RQ2 고차원적이고 노이즈가 많은 대체 입력이 존재하는 상황에서 잠재 혼란 변수와 다중 대체 모ality를 갖는 생성 모델을 어떻게 안정적으로 훈련시킬 수 있는가?
• RQ3 고차원 치료 변수와 완전하지 않은 데이터가 존재하는 환경에서 딥 다중모달 구조 방정식이 경향 스코어 기반 방법보다 우수한가?
• RQ4 임상 기록이나 웨어러블 센서 데이터와 같은 '다크 데이터'가 유전체학 및 의료 분야에서 인과 추론을 얼마나 향상시킬 수 있는가?
• RQ5 대체 변수가 고차원적이고 상호 중복 가능성이 있는 상황에서 모델이 결측 데이터에 강건하며 인과 효과를 식별할 수 있는가?

주요 결과

• 제안된 깊이 있는 다중모달 구조 방정식은 실제 유전체학 및 의료 데이터셋에서 기존의 경향 스코어 기반 방법보다 인과 효과 추정 성능이 뛰어나다.
• 워치형 센서 시계열 및 임상 기록과 같은 구조화되지 않은 대체 데이터를 사용하여 혼란을 효과적으로 보정함으로써 인과 추정 정확도를 향상시켰다.
• 전장 유전자 연관 분석(GWAS)에서, 고차원 유전적 및 환경적 대체 변수를 활용함으로써 표준 GWAS 방법보다 더 정확하게 인과 유전자 요인을 식별했다.
• 모델의 생성적 성격 덕분에 경향 스코어 방법에서 흔히 발생하는 0 또는 1 근처에서의 변동성과 잘못 校정된 확률 문제를 피할 수 있었다.
• 이전에 사용되지 않았던 '다크 데이터'(예: 의료 영상, 임상 기록)를 인과 추론에 활용할 수 있도록 하여 인과 분석에 사용 가능한 데이터를 크게 확장시켰다.
• 실증 결과는 특히 변분 추론를 통해 통합된 다중모달 대체 신호가 단일 모달 또는 비생성적 접근보다 더 신뢰성 있고 정확한 인과 효과 추정을 이끌어낸다는 것을 보여주었다.