[논문 리뷰] Active Bayesian Causal Inference

Christian Toth, Lars Lorch외 5명|arXiv (Cornell University)|2022. 06. 04.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 순차적 실험 설계를 통해 인과 모델과 목표 인과 질의를 함께 추론하는 완전한 베이지안 주도 학습 프레임워크인 Active Bayesian Causal Inference(ABCI)를 제안한다. 비선형 가감성 노이즈 모델을 가우시안 프로세스로 모델링하고, 목표 질의에 대한 정보 수익을 최대화하는 간섭을 선택하기 위해 베이지안 최적화를 사용함으로써, 전체 인과 모델 학습에 대한 고비용을 고려할 때 ABCI는 인과 발견에만 집중된 기존 방법들보다 더 뛰어난 데이터 효율성과 잘 校정된 불확실성 추정을 달성한다.

ABSTRACT

Causal discovery and causal reasoning are classically treated as separate and consecutive tasks: one first infers the causal graph, and then uses it to estimate causal effects of interventions. However, such a two-stage approach is uneconomical, especially in terms of actively collected interventional data, since the causal query of interest may not require a fully-specified causal model. From a Bayesian perspective, it is also unnatural, since a causal query (e.g., the causal graph or some causal effect) can be viewed as a latent quantity subject to posterior inference -- other unobserved quantities that are not of direct interest (e.g., the full causal model) ought to be marginalized out in this process and contribute to our epistemic uncertainty. In this work, we propose Active Bayesian Causal Inference (ABCI), a fully-Bayesian active learning framework for integrated causal discovery and reasoning, which jointly infers a posterior over causal models and queries of interest. In our approach to ABCI, we focus on the class of causally-sufficient, nonlinear additive noise models, which we model using Gaussian processes. We sequentially design experiments that are maximally informative about our target causal query, collect the corresponding interventional data, and update our beliefs to choose the next experiment. Through simulations, we demonstrate that our approach is more data-efficient than several baselines that only focus on learning the full causal graph. This allows us to accurately learn downstream causal queries from fewer samples while providing well-calibrated uncertainty estimates for the quantities of interest.

연구 동기 및 목표

• 기존의 두 단계 인과 발견 및 추론 방식에서 발생하는 높은 데이터 비용으로 인한 비효율성을 해결하기 위해.
• 인과 모델을 잠재 변수로 간주하고 추론 중 관련이 없는 구성 요소를 적분함으로써 지식 불확실성(epistemic uncertainty)을 감소시키기 위해.
• 전체 모델 식별을 목표로 하는 것이 아니라, 후행 인과 질의에 특화된 실험 설계를 최적화하는 통합 프레임워크를 개발하기 위해.
• 전체 인과 그래프를 학습하는 데 낭비되는 자원을 피하고 직접 관심 있는 양에 초점을 맞춘 간섭을 통해 데이터 효율성을 향상시키기 위해.
• 모델 및 질의 사후 분포에 대한 완전한 베이지안 처리를 통해 인과 질의에 대해 잘 校정된 불확실성 추정을 제공하기 위해.

제안 방법

• ABCI는 구조적 방정식을 표현하기 위해 가우시안 프로세스를 사용하여 인과적으로 충분한 비선형 가감성 노이즈 모델을 모델링한다.
• 다양분 수학적 기반의 인과적 구조 학습(DiBS)을 통해 연속적인 잠재 그래프 표현을 도입하여 DAG 공간에서 기울기 기반 최적화를 가능하게 한다.
• 목표 인과 질의에 대한 기대 정보 수익을 최대화하는 간섭을 선택하기 위해 베이지안 최적화를 활용한다.
• 몬테 카를로 샘플링을 사용하여 인과 모델과 질의에 대한 사후 추론을 수행하며, 전체 파ip라인에 걸쳐 불확실성이 전파된다.
• 실험 설계와 추론을 반복하는 루프로 통합한다: 간섭 선택 → 데이터 수집 → 사후 분포 갱신 → 반복.
• 목표 인과 질의는 인과 모델의 함수로 정의되며, 모델 사후 분포에 대한 적분을 통해 질의 사후 분포가 유도된다.

실험 결과

연구 질문

• RQ1 전체 인과 그래프를 학습하는 것보다 특정 인과 질의에 더 효율적인 간섭을 설계할 수 있는가?
• RQ2 질의에 관련된 부분만 학습할 경우, 잘 校정된 불확실성 추정을 유지할 수 있는가?
• RQ3 전체 인과 그래프 식별을 우선시하는 기존 방법에 비해, 관심 있는 질의에 초점을 맞춘 실험 설계가 성능을 뛰어넘을 수 있는가?
• RQ4 모델 잘못 설정(예: 선형 대 비선형)이 주도적 인과 추론 성능에 어떤 영향을 미치는가?
• RQ5 고차원이고 조합적 그래프 공간에서 베이지안 최적화가 간섭 선택을 효과적으로 이끌 수 있는가?

주요 결과

• ABCI는 스케일프리 그래프에서 관찰 및 무작위 기반 베이스라인에 비해 인과 모델과 질의 학습에서 뚜렷한 성능 향상을 보이며, 구조적 함밍 거리와 쿨백-라이블러 발산(Kullback-Leibler divergence) 오차가 낮게 나타난다.
• 에르되시-레니 그래프에서는 그래프 식별의 어려움 증가로 인해 ABCI의 성능 향상이 감소함을 보이며, 이는 구조적 복잡성에 민감함을 시사한다.
• 비선형 모델 대비 선형 GP 커널을 사용할 경우 모델 불일치로 인해 성능이 떨어지며, 이는 기능 형태 모델링의 정확성이 중요함을 강조한다.
• 질의 전용 유틸리티 $U_{\textsc{cr}}$ 는 다른 전략 대비 낮은 질의 KLD를 달성하여, 후행 인과 추론에서 뛰어난 데이터 효율성을 보임을 시사한다.
• 사후 추정 품질 향상(예: 더 많은 몬테 카를로 샘플 또는 베이지안 최적화 평가 수)이 ABCI 성능 향상에 기여함을 확인하여, 계산 자원 투자에 따른 확장성 향상 가능성을 시사한다.
• ABCI는 인과 모델과 질의에 대한 전체 사후 분포를 유지함으로써, 점 추정 편향을 피하고 잘 校정된 불확실성 추정을 제공한다.