[논문 리뷰] Interventional Sum-Product Networks: Causal Inference with Tractable Probabilistic Models

Matej Zečević, Devendra Singh Dhami외 3명|arXiv (Cornell University)|2021. 02. 20.

Bayesian Modeling and Causal Inference참고 문헌 44인용 수 10

한 줄 요약

이 논문은 Pearl의 do-연산자를 신경망 게이트 매개변수화를 통해 직접 통합한 유사한 확률 모델인 간섭적 합-곱 네트워크(iSPNs)를 소개한다. 이는 베이지안 네트워크로의 컴파일이 필요 없이 간섭 분포를 학습할 수 있도록 한다. 이 방법은 다양한 인과적 구조와 간섭 유형에서 간섭 분포 추정에서 최신 기술 수준의 성능을 달성하며, 표현력과 인과적 적합성을 모두 입증한다.

ABSTRACT

While probabilistic models are an important tool for studying causality, doing so suffers from the intractability of inference. As a step towards tractable causal models, we consider the problem of learning interventional distributions using sum-product networks (SPNs) that are over-parameterized by gate functions, e.g., neural networks. Providing an arbitrarily intervened causal graph as input, effectively subsuming Pearl's do-operator, the gate function predicts the parameters of the SPN. The resulting interventional SPNs are motivated and illustrated by a structural causal model themed around personal health. Our empirical evaluation on three benchmark data sets as well as a synthetic health data set clearly demonstrates that interventional SPNs indeed are both expressive in modelling and flexible in adapting to the interventions.

연구 동기 및 목표

• Sum-Product Networks(SPNs)의 처리 가능성(tractability)을 활용하여 기존 확률 모델의 인과 추론 비처리성 문제를 해결한다.
• SPN에서 베이지안 네트워크로의 컴파일 과정에서 발생하는 인과적 구조 손실 문제를 해결한다. 이는 인과적 추론에 실패한다.
• 학습 가능한 게이트 함수를 통해 do-연산자에 조건화된 SPN을 사용하여 간섭 분포 P(Y|do(X))를 직접 모델링하는 방법을 개발한다.
• 간섭 효과가 인과 계층을 통해 충실하게 전파되도록 보장하여 간섭의 후속 영향을 포착한다.
• iSPNs가 표현력과 인과적 적합성을 모두 갖추고 있으며, 구조 재컴파일이 필요 없이 임의의 간섭을 모델링할 수 있음을 입증한다.

제안 방법

• 간섭에 따라 매개변수를 동적으로 설정할 수 있도록, SPN의 매개변수를 do-연산자에 조건화하는 데 신경망을 게이트 함수로 사용한다.
• 각 간섭(do(X=x))이 게이트 네트워크의 입력으로 인코딩되며, 이에 따라 해당 SPN 매개변수를 출력한다.
• SPN 구조가 인과 그래프의 토폴로지(구조)를 유지하도록 구성하여, 간섭 효과가 변수의 계층을 따라 전파될 수 있도록 한다.
• 관측 및 간섭 데이터를 기반으로 최대우도추정법을 사용해 모델을 종단 간(end-to-end)으로 훈련시키며, 간섭 분포의 로그우도를 최적화한다.
• 신경망의 보편 근사 성질을 활용하여 복잡한 비선형 간섭 분포를 유지하면서도 SPN의 처리 가능성(tractability)을 확보한다.
• 혼란 요인과 비트리비어 인과적 의존성 등이 존재하는 현실적 고영향 영역인 개인 건강을 주제로 한 구조적 인과 모델을 사용해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 기존의 베이지안 네트워크로의 컴파일이 필요 없이, SPN과 같은 처리 가능한 확률 모델이 직접 간섭 분포를 모델링할 수 있는가?
• RQ2 신경망 게이트를 갖춘 SPN 아키텍처가 인과 계층 내에서 후속 영향까지 포함해 전반적인 간섭 효과를 효과적으로 포착할 수 있는가?
• RQ3 다양한 데이터 분포에서 iSPNs의 성능이 강력한 생성 모델(MDN, MADE 등)과 비교해 어떻게 되는가?
• RQ4 기본 회귀 기반 방법이 실패하는 복잡한 인과 시나리오, 예를 들어 혼란 요인과 실리콘의 역전 현상(Simpson’s paradox)을 iSPNs가 다룰 수 있는가?
• RQ5 재학습 없이도 iSPNs가 연속형, 이산형, 원자형, 비연속형 간섭 유형 등 다양한 간섭 유형에 대해 얼마나 일반화할 수 있는가?

주요 결과

• iSPNs는 네 가지 벤치마크 데이터셋에서 간섭 분포 추정을 거의 완벽하게 수행하며, MDN 및 MADE보다 정밀도와 적응성에서 뛰어난 성능을 보였다.
• 특히 혼란 요인 존재 조건과 실리콘의 역전 현상에서 인과 효과 추정에 있어 CausalML 및 DoWhy와 같은 인과 추론 기반 베이스라인과 동등하거나 이를 초월하는 성능을 보였다.
• iSPNs의 훈련 시간은 경쟁 기반 모델보다 상당히 빠르며, 50회 이상의 데이터 통과 평균 실행 시간이 베이스라인보다 뚜렷이 낮았다.
• 균일분포 및 감마분포 간섭을 포함한 다양한 간섭 유형을 성공적으로 모델링하여 간섭 분포에 대한 강건성과 일반화 능력을 입증했다.
• ASIA 데이터셋과 개인 건강 인과 모델에서 검증된 결과, iSPNs는 간섭 효과가 인과 계층 전반에 걸쳐 충실하게 전파됨을 확인했다.
• 보충 자료의 분석적 유도 결과, iSPNs가 합성 환경에서 진짜 ATE(Average Treatment Effect)를 정확히 복원함을 확인하여 인과적 정확성을 입증했다.