[논문 리뷰] BaCaDI: Bayesian Causal Discovery with Unknown Interventions

Alexander Hägele, Jonas Rothfuss외 4명|arXiv (Cornell University)|2022. 06. 03.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

BaCaDI는 알려지지 않은 간섭 조건 하에서 인과적 발견을 위한 완전한 베이지안 프레임워크를 제안하며, 미분 가능한 변분 추론을 사용해 인과적 구조, 간섭 대상, 모델 파라미터를 동시에 추론한다. 데이터가 제한적이고 모델이 잘못 설정된 경우에도 기존 방법보다 우수한 성능을 보이며, 인과 그래프와 간섭 정체성을 회복하는 데에 유의미한 성과를 거두었다.

ABSTRACT

Inferring causal structures from experimentation is a central task in many domains. For example, in biology, recent advances allow us to obtain single-cell expression data under multiple interventions such as drugs or gene knockouts. However, the targets of the interventions are often uncertain or unknown and the number of observations limited. As a result, standard causal discovery methods can no longer be reliably used. To fill this gap, we propose a Bayesian framework (BaCaDI) for discovering and reasoning about the causal structure that underlies data generated under various unknown experimental or interventional conditions. BaCaDI is fully differentiable, which allows us to infer the complex joint posterior over the intervention targets and the causal structure via efficient gradient-based variational inference. In experiments on synthetic causal discovery tasks and simulated gene-expression data, BaCaDI outperforms related methods in identifying causal structures and intervention targets.

연구 동기 및 목표

• 실험 데이터에서 간섭 대상이 알려지지 않았거나 불확실할 때 인과적 구조 학습의 과제를 해결하기 위해.
• 인과적 구조, 간섭 대상, 인과 메커니즘 전반에 걸친 지식적 불확실성을 함께 모델링하는 원칙적인 베이지안 접근법을 제공하기 위해.
• 연속적이고 미분 가능한 인과 베이지안 네트워크 및 간섭의 표현 방식을 활용해 고차원 시스템에서의 확장 가능한 추론을 가능하게 하기 위해.
• 기존 방법들이 간섭 조건을 알려진 것으로 가정하거나 데이터 부족 상황에서 실패하는 한계를 극복하기 위해.
• 특히 생물학적 및 유전자 발현 맥락에서의 모델 오류 설정에 강건한 프레임워크를 개발하기 위해.

제안 방법

• BaCaDI는 완전한 베이지안 접근을 사용해 인과적 구조, 간섭 대상, 모델 파라미터에 대한 공동 사후 추론 문제로 인과적 발견을 공식화한다.
• 기반 그래디언트 최적화를 가능하게 하기 위해 인과 베이지안 네트워크(CBNs)와 간섭 모두에 연속적이고 미분 가능한 표현 방식을 적용한다.
• 복잡한 공동 사후 분포를 근사하기 위해 입자 기반 변분 추론과 스틸 변분 그래디언트 강하(SVGD)를 사용한다.
• 추론 과정은 점수 함수와 커널 기반 스틸 산란도를 활용해 입자 위치를 사후 분포의 고확률 영역으로 반복적으로 업데이트한다.
• 백프로파게이션을 통한 엔드 투 엔드 훈련을 지원하여 인과적 구조 및 간섭 파라미터의 효율적 최적화를 가능하게 한다.
• 다양한 알려지지 않은 간섭 조건 하에서 수집된 데이터로부터 동시에 여러 실험적 맥락을 학습할 수 있다.

실험 결과

연구 질문

• RQ1 한정된 간섭 데이터에서 베이지안 프레임워크가 인과적 구조와 알려지지 않은 간섭 대상을 동시에 추론할 수 있는가?
• RQ2 간섭 대상에 대한 지식적 불확실성이 인과적 구조 복원에 어떤 영향을 미치며, 이를 적절히 정량화할 수 있는가?
• RQ3 미분 가능하고 기반 그래디언트 추론이 알려지지 않은 간섭 조건 하에서 고차원 인과 시스템에 효과적으로 확장 가능한가?
• RQ4 유전자 발현 데이터에서 비선형성 또는 복잡한 의존성으로 인해 심각한 모델 오류가 발생할 경우 BaCaDI는 어떻게 성능을 내는가?
• RQ5 저데이터 환경에서 인과적 구조와 간섭을 동시에 추론하는 것이 순차적 또는 별도의 추론 접근 방식보다 우수한가?

주요 결과

• BaCaDI는 제한된 데이터 조건에서도 합성 인과 베이지안 네트워크에서 진짜 인과적 구조를 회복하는 데 기존 방법보다 뚜렷한 성능 향상을 보였다.
• 기존 방법들이 간섭 대상을 알려진 것으로 가정하는 것에 비해, BaCaDI는 알려지지 않은 간섭 대상을 식별하는 데서 뛰어난 성능을 보였다.
• 실제 유전자 발현 시뮬레이터를 사용한 시뮬레이션에서, BaCaDI는 강력한 모델 오류 설정에도 불구하고 인과적 구조를 성공적으로 회복했다.
• 프레임워크는 데이터 부족 상황에서도 뛰어난 정확도를 유지하며, 다른 방법들이 실패하거나 성능이 저하되는 상황에서도 안정성을 확보했다.
• 입자 기반 SVGD 추론은 고차원 환경에서도 확장 가능하고 효율적인 사후 근사가 가능하게 했다.
• 완전한 불확실성 전파를 수반하는 공동 베이지안 추론은 점 추정 또는 순차적 접근 방식보다 더 신뢰할 수 있고 校정된 인과 추정을 가능하게 했다.