[논문 리뷰] Variational Causal Networks: Approximate Bayesian Inference over Causal Structures

Yashas Annadani, Jonas Rothfuss외 5명|arXiv (Cornell University)|2021. 06. 14.

Bayesian Modeling and Causal Inference참고 문헌 33인용 수 9

한 줄 요약

이 논문은 구조적 인과 모델(SM)에서 인과 구조에 대한 근사 베이지안 추론을 위한 변분 추론 프레임워크인 변분 인과 네트워크(VCN)를 제안한다. 인접 행렬에 대해 LSTM을 사용한 자동회귀 분포로 변분 사후분포를 모델링하여, VCN은 DAG 위의 다중모드 사후분포를 효율적으로 포착하며, 합성 및 실세계 데이터셋(예: Dream4 유전자 조절 챌린지 포함)에서 불확실성 추정과 인과 구조 복원에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning the causal structure that underlies data is a crucial step towards robust real-world decision making. The majority of existing work in causal inference focuses on determining a single directed acyclic graph (DAG) or a Markov equivalence class thereof. However, a crucial aspect to acting intelligently upon the knowledge about causal structure which has been inferred from finite data demands reasoning about its uncertainty. For instance, planning interventions to find out more about the causal mechanisms that govern our data requires quantifying epistemic uncertainty over DAGs. While Bayesian causal inference allows to do so, the posterior over DAGs becomes intractable even for a small number of variables. Aiming to overcome this issue, we propose a form of variational inference over the graphs of Structural Causal Models (SCMs). To this end, we introduce a parametric variational family modelled by an autoregressive distribution over the space of discrete DAGs. Its number of parameters does not grow exponentially with the number of variables and can be tractably learned by maximising an Evidence Lower Bound (ELBO). In our experiments, we demonstrate that the proposed variational posterior is able to provide a good approximation of the true posterior.

연구 동기 및 목표

• 유한한 관측 데이터로부터 인과 구조 학습에서 지식적 불확실성(epistemic uncertainty)을 정량화하는 데 도전하는 것.
• 진정한 DAG 위의 사후분포가 비가역적인 구조적 인과 모델(SCM)에 대해 확장 가능하고 다룰 수 있는 베이지안 추론 프레임워크를 개발하는 것.
• 파arametric 변분 가족을 사용하여 복잡한 다중모드 사후분포를 모델링하면서도 파라미터의 지수적 증가를 피하는 것.
• 제한된 데이터 환경에서 불확실성 인식 간섭 선택과 인과 효과 추정을 가능하게 하는 것.
• MCMC 및 부트스트랩 기반 방법의 실용적이고 학습 가능한 대안을 제공하는 것.

제안 방법

• 인과 구조 학습을 위한 변분 추론 프레임워크를 제안하며, 변분 사후분포를 최적화하기 위해 증거 하한 경계(ELBO)를 사용한다.
• DAG의 인접 행렬에 대해 자동회귀 변분 가족을 도입하며, 간선 간의 의존성을 모델링하기 위해 LSTM으로 매개변수화한다.
• DAG 위의 결합 분포를 간선 존재 결정의 순차적 시퀀스로 모델링하여 자동회귀 순서를 통해 사이클 없음을 보장한다.
• DAG 제약 조건의 미분 가능 근사화를 사용하여 역전파를 통한 엔드 투 엔드 학습을 가능하게 한다.
• 정확도와 계산 효율성의 균형을 맞추기 위해 사전 평가 기반 목적 함수를 사용하여 변분 근사치를 최적화한다.
• 선형 SCM에 적용하여 간선 존재 및 인과 효과에 대한 불확실성 정량화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 변분 추론 프레임워크가 비가역적인 인과 DAG 사후분포를 효과적으로 근사할 수 있는가?
• RQ2 자동회귀 변분 가족이 인과 구조 사후분포의 다중모드성과 식별 불가능성 특성을 얼마나 잘 포착할 수 있는가?
• RQ3 제안된 VCN 방법이 요인화된 변분 가족과 기존 베이스라인 대비 인과 발견 작업에서 구조적 하미트 거리와 AUROC 측정치에서 우월한가?
• RQ4 낮은 표본 수 환경에서 간섭 선택과 인과 효과 추정에 대해 신뢰할 수 있는 불확실성 추정을 제공할 수 있는가?
• RQ5 MCMC 및 부트스트랩 기반 접근법과 비교해 성능과 런타임 측면에서 어떻게 스케일링되는가?

주요 결과

• 작은 그래프(d ≤ 4)에서 VCN은 요인화된 베이스라인 대비 진짜 사후분포와의 헬링거 거리가 유의미하게 낮아, 더 뛰어난 근사 품질을 입증한다.
• 10- 및 20노드의 에르되시-레니 랜덤 그래프에서, VCN은 모든 베이스라인 대비 평균 구조적 하미트 거리(SHD)가 가장 낮으며, 특히 10개의 샘플만으로도 뛰어난 성능을 보인다.
• Dream4 유전자 발현 데이터셋에서 VCN은 AUROC 0.519 ± 0.03을 달성하여, IMAP MCMC(0.438 ± 0.02), Boot Notears(0.330), 요인화된 베이스라인(0.489 ± 0.01)을 모두 능가한다.
• DAG 부트스트랩 및 IMAP MCMC와 같은 부트스트랩 기반 방법보다 빠르면서도 경쟁력 있거나 더 낫거나 성능을 유지하여, 실세계 응용에 적합하다.
• 요인화된 근사치에 비해 자동회귀 VCN 모델이 다중모드 사후분포를 더 효과적으로 포착하며, 간선 간 의존성을 모델링하지 못하는 요인화된 근사치는 이에 뒤진다.
• Dream4 데이터셋에서 모델의 잘못된 특정화(비-DAG 기준값)에도 불구하고 VCN은 강력한 성능을 달성하여, 실세계 데이터 과제에 대한 강건성을 시사한다.