[논문 리뷰] BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery

Chris Cundy, Aditya Grover외 1명|arXiv (Cornell University)|2021. 12. 06.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

BCD Nets는 선형-가우시안 구조적 방정식 모델에서 베이지안 인과 발견을 위한 확장 가능한 변분 추론 프레임워크를 제안한다. 깊은 신경망을 사용해 연속적 리 릴랙스레이션과 말뚝 전파 사전분포를 활용해 DAG에 대한 사후분포를 모델링한다. 이는 데이터가 적은 상황에서 최대우도 추정 방법에 비해 구조적 해밍 거리에서 뚜렷한 성능 향상을 보이며, DAG의 구조 추론에 대한 불확실성 측정을 가능하게 한다.

ABSTRACT

A structural equation model (SEM) is an effective framework to reason over causal relationships represented via a directed acyclic graph (DAG). Recent advances have enabled effective maximum-likelihood point estimation of DAGs from observational data. However, a point estimate may not accurately capture the uncertainty in inferring the underlying graph in practical scenarios, wherein the true DAG is non-identifiable and/or the observed dataset is limited. We propose Bayesian Causal Discovery Nets (BCD Nets), a variational inference framework for estimating a distribution over DAGs characterizing a linear-Gaussian SEM. Developing a full Bayesian posterior over DAGs is challenging due to the the discrete and combinatorial nature of graphs. We analyse key design choices for scalable VI over DAGs, such as 1) the parametrization of DAGs via an expressive variational family, 2) a continuous relaxation that enables low-variance stochastic optimization, and 3) suitable priors over the latent variables. We provide a series of experiments on real and synthetic data showing that BCD Nets outperform maximum-likelihood methods on standard causal discovery metrics such as structural Hamming distance in low data regimes.

연구 동기 및 목표

• 유한하거나 식별 불가능한 데이터 하에서 DAG의 구조에 대한 불확실성을 반영하지 못하는 점추정 방법의 한계를 해결하기 위해.
• 선형-가우시안 SEM에서 DAG에 대한 사후분포를 추정하기 위한 확장 가능한 베이지안 프레임워크를 개발하기 위해.
• 의료 및 정책과 같은 고위험·저데이터 응용 분야에서 불확실성 인식 기반의 인과 추론을 가능하게 하기 위해.
• 이산적이고 조합적인 DAG에 대한 전체 베이지안 추론의 계산 불가능성을 연속적 리 릴랙스레이션과 암시적 추론을 통해 극복하기 위해.

제안 방법

• BCD Nets는 깊은 신경망을 사용해 SEM 매개변수(에지 가중치 및 잡음 분산)에 대한 인과적 변분 사후분포를 매개변수화하며, DAG를 삼각행렬과 순열로 분해하는 것을 활용한다.
• Gumbel-Softmax 기법을 통한 순열의 연속적 리 릴랙스레이션을 활용해 변분 목표함수의 저분산 확률적 최적화를 가능하게 한다.
• 에지 가중치에 말뚝 전파 사전분포를 적용하여 희박성과 구조적 일반화를 향상시킨다.
• 신경망을 통한 암시적 추론을 사용해 DAG에 대한 사후분포를 효율적으로 근사함으로써 전체 열거를 피한다.
• 변분 목표함수를 마진러리크리스티 likelihood의 미분 가능한 하한으로 설정하여 기울기 기반 최적화를 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 선형-가우시안 SEM에서 동일한 및 비동일한 잡음 분산 설정을 모두 지원하며, DAG와 매개변수의 공동 사후분포를 탄력적으로 모델링할 수 있다.

실험 결과

연구 질문

• RQ1 확장 가능한 변분 추론 프레임워크가 선형-가우시안 SEM에서 DAG의 구조에 대한 불확실성을 효과적으로 측정할 수 있는가?
• RQ2 적은 데이터 환경에서 적절한 사전분포를 사용한 베이지안 추정은 최대우도 점추정에 비해 어떻게 성능을 발휘하는가?
• RQ3 매개변수화, 리 릴랙스레이션, 사전분포 선택 등의 설계 선택이 베이지안 인과 발견의 성능과 확장성에 가장 큰 영향을 미치는가?
• RQ4 연속적 리 릴랙스레이션과 암시적 추론을 사용할 때 조합적 DAG 공간에서 효율적인 최적화를 가능하게 하면서도 정확도를 유지하는 정도는 어느 정도인가?
• RQ5 비선형 관계나 관측되지 않은 혼란 변수가 존재하는 경우 모델 오류에 대해 이 방법은 얼마나 강건한가?

주요 결과

• BCD Nets는 저데이터 환경에서 최대우도 기반 베이스라인에 비해 구조적 해밍 거리(SHD)에서 뚜렷한 성능 향상을 보이며, 32노드의 Erdős-Rényi 그래프에서 SHD가 약 30에서 약 11로 감소한다.
• 64노드 그래프에서 평균 훈련 시간이 약 350분으로, GADGET(635분)와 GOLEM(65분)에 비해 확장성과 정확도의 균형을 잘 유지한다.
• 절단 실험 결과에서 말뚝 전파 사전분포를 제거하거나 고정된 Sinkhorn 단계 수를 사용할 경우 SHD가 11에서 약 30으로 증가하여 희박성과 적응적 리 릴랙스레이션의 핵심적 중요성을 입증한다.
• 라플라스 사전분포 하에서 샘플과 유도된 공분산 행렬 간의 KL 발산은 약간 증가하지만, SHD는 급격히 상승하여 데이터 적합성에는 좋지만 구조적 일반화는 열악함을 시사한다.
• 데이터셋 크기가 증가함에 따라 BCD Nets와 MLE 방법 간의 성능 격차가 좁혀지며, 이는 본 방법의 이점이 특히 저데이터 환경에서 두드러진다는 것을 확인한다.
• 최적화 측면에선 모델 오류에 대해 강건하지만, 관측되지 않은 혼란 변수가 없고 비선형 관계가 없다는 가정을 하고 있어, 이 가정이 위배될 경우 실제 적용 가능성에 제한을 줄 수 있다.