[논문 리뷰] A Critical Look at the Consistency of Causal Estimation With Deep Latent Variable Models

Severi Rissanen, Pekka Marttinen|arXiv (Cornell University)|2021. 02. 12.

Bayesian Modeling and Causal Inference인용 수 6

한 줄 요약

이 논문은 깊이 있는 잠재변수 모델을 사용한 인과적 효과 추정의 일관성을 비판적으로 평가하며, 인과적 효과 변동 자동인코더(CEVAE)에 초점을 맞춘다. 비록 경험적 결과가 유망해 보이지만, 본 연구는 모델의 잘못된 특정화나 복잡한 데이터 분포 하에서 CEVAE가 일관된 인과적 추정을 하지 못함을 입증하여, 강력한 가정 없이 이러한 모델에 의존해 신뢰할 수 있는 인과적 추론을 내리기 위한 기본적인 한계를 드러낸다.

ABSTRACT

Using deep latent variable models in causal inference has attracted considerable interest recently, but an essential open question is their ability to yield consistent causal estimates. While they have demonstrated promising results and theory exists on some simple model formulations, we also know that causal effects are not even identifiable in general with latent variables. We investigate this gap between theory and empirical results with analytical considerations and extensive experiments under multiple synthetic and real-world data sets, using the causal effect variational autoencoder (CEVAE) as a case study. While CEVAE seems to work reliably under some simple scenarios, it does not estimate the causal effect correctly with a misspecified latent variable or a complex data distribution, as opposed to its original motivation. Hence, our results show that more attention should be paid to ensuring the correctness of causal estimates with deep latent variable models.

연구 동기 및 목표

• 관측되지 않은 혼란 변수가 존재하는 상황에서 CEVAE와 같은 깊이 있는 잠재변수 모델이 인과 효과를 일관되게 추정할 수 있는지 조사하기 위해.
• CEVAE가 신뢰할 수 있는 인과적 추정을 내놓는 조건과 실패하는 조건을 규명하기 위해.
• 깊이 있는 잠재변수 모델의 인과 추론에서 경험적 성공과 이론적 일관성 사이의 격차를 메우기 위해.
• 다양한 데이터 생성 과정 하에서 합성 데이터 및 실제 세계 데이터셋에 대한 CEVAE의 내성적 안정성 평가를 위해.

제안 방법

• 본 연구는 표준 VAE에 인과적 구조를 추가한 Causal Effect Variational Autoencoder(CEVAE)를 사례 연구로 사용하며, 잠재적 혼란 요인 z와 대체 변수 x를 가정한다.
• CEVAE는 공동 분포를 p(x,t,y|z) = p(x|z)p(t|z)p(y|z,t)로 모델링하며, 그림 1b의 인과적 그래프를 통해 조건부 독립성을 강제한다.
• 모델은 재구성 항목(재구성 항목: x, t, y), 그리고 사전 분포 p(z)로의 KL 발산 페널티를 포함한 변동 하한 근사(ELBO)를 사용해 훈련된다.
• 인과 효과 p(y|do(t))는 조정 공식을 통해 추정되며, p(y|do(t)) ≈ ∫ pθ(y|z,t)p(z)dz로 표현되며, 학습된 파라미터를 사용한다.
• 선형-정규 분포 및 이진 데이터 생성 과정을 가진 합성 데이터와 실제 Twins 데이터셋을 대상으로 광범위한 실험을 수행한다.
• 각 데이터셋에 대해 여러 번의 훈련을 수행하여 수렴성, 안정성, 최종 손실와 추정 정확도 간의 관계를 평가한다.

실험 결과

연구 질문

• RQ1 표본 크기가 증가함에 따라 CEVAE가 진정한 인과 효과 추정을 일관되게 하기 위한 조건은 무엇인가?
• RQ2 대규모 표본 크기에도 불구하고 특정 데이터 생성 과정에서 CEVAE가 진정한 인과 효과로 수렴하지 못하는 이유는 무엇인가?
• RQ3 최종 훈련 손실이 인과 추정 성능의 신뢰할 만한 지표로 사용될 수 있는 정도는 어느 정도인가?
• RQ4 모델의 잘못된 특정화 또는 복잡한 데이터 분포가 CEVAE의 인과 추정 신뢰성에 어떤 영향을 미치는가?
• RQ5 정확도와 일관성 측면에서 CEVAE의 추정치는 분석적 방법과 간단한 모델에 비해 어떻게 비교되는가?

주요 결과

• 50,000개의 표본이 있음에도 불구하고 Twins 데이터셋에서 CEVAE는 진정한 인과 효과로 수렴하지 못하여, 실제 복잡한 데이터에서의 일관성 부족을 보여준다.
• 동일한 데이터셋에 대해 여러 번의 훈련을 수행했을 때 인과 추정치가 크게 다름을 보이며, 모델이 서로 다른 국소 최적점에 갇혀 있음을 시사한다.
• 최종 ELBO 손실이 낮은 모델이 반드시 더 나은 인과 추정치를 내는 것은 아니며, 이는 손실를 성능 선택 기준으로 사용하는 것의 신뢰성에 의문을 제기한다.
• 선형-정규 분포 설정에서는 표본 크기가 증가함에 따라 점진적인 향상이 보이나, 분석적 방법보다 추정치가 여전히 정확도가 떨어진다.
• 이진 데이터 설정에서는 분석적 방법이 충분한 데이터로 정확할 때조차도 CEVAE는 일관되게 잘못된 인과 효과를 추정한다.
• 본 연구는 CEVAE에서 '효과적 모델 식별 불가능성(effective model unidentifiability)'을 규명하였으며, 유사한 훈련 손실을 가진 여러 모델이 서로 다른 인과 추정치를 도출할 수 있음을 보여준다.