[논문 리뷰] Amortized Inference for Causal Structure Learning

Lars Lorch, Scott Sussex외 3명|arXiv (Cornell University)|2022. 05. 25.

Bayesian Modeling and Causal Inference인용 수 6

한 줄 요약

이 논문은 관찰 데이터 또는 간섭 데이터로부터 직접 인과 그래프를 예측하는 신경망 기반 방법 AVICI를 제안한다. 이는 구조적 검색을 피함으로써 비용이 많이 드는 그래프 탐색을 회피한다. 순열에 대해 불변인 아키텍처를 활용하고 시뮬레이터가 생성한 데이터로 훈련함으로써, 더 큰, 볼 수 없는 그래프로의 일반화 능력이 뛰어나며, 특히 유전체 분야에서 기존 방법들을 능가한다. 또한 보정된 불확실성 추정을 제공한다.

ABSTRACT

Inferring causal structure poses a combinatorial search problem that typically involves evaluating structures with a score or independence test. The resulting search is costly, and designing suitable scores or tests that capture prior knowledge is difficult. In this work, we propose to amortize causal structure learning. Rather than searching over structures, we train a variational inference model to directly predict the causal structure from observational or interventional data. This allows our inference model to acquire domain-specific inductive biases for causal discovery solely from data generated by a simulator, bypassing both the hand-engineering of suitable score functions and the search over graphs. The architecture of our inference model emulates permutation invariances that are crucial for statistical efficiency in structure learning, which facilitates generalization to significantly larger problem instances than seen during training. On synthetic data and semisynthetic gene expression data, our models exhibit robust generalization capabilities when subject to substantial distribution shifts and significantly outperform existing algorithms, especially in the challenging genomics domain. Our code and models are publicly available at: https://github.com/larslorch/avici.

연구 동기 및 목표

• 인과적 구조 학습에서 정확한 점수 함수나 독립성 검정을 설계하는 데 드는 높은 계산 비용과 어려움을 해결하기 위해.
• 기하학적 조합 검색 공간이 비가역적이거나 구조적 편향이 존재하는 전통적인 검색 기반 방법의 한계를 극복하기 위해.
• 모델의 아키텍처와 훈련 데이터에 의해 코딩된 영구적 편향을 활용하여, 훈련 중에 본 바보다 더 큰 그래프로의 일반화를 가능하게 하기 위해.
• 실제 응용에서 신뢰성을 높이기 위해 인과 예측에 대해 보정된 불확실성 추정을 제공하기 위해.
• 기존 방법이 노이즈와 분포 이동에 취약한 도메인인 유전체 분야에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 이 방법은 인과 그래프를 입력 데이터로부터 직접 예측하는 데 전용된 신경망을 훈련시키는 암시적 변분 추론 프레임워크(AMICI)를 사용한다. 이는 반복적인 구조 검색이 필요 없도록 한다.
• 추론 모델은 변수 순서에 대해 순열에 대해 불변이 되도록 설계되어 있어, 입력 순서에 영향을 받지 않으며 통계적 효율성과 일반화 능력을 향상시킨다.
• 모델은 데이터 생성 과정의 시뮬레이터로부터 생성된 합성 데이터로 훈련되며, 수작업으로 만든 점수 함수 없이 도메인 특화의 영구적 편향을 학습할 수 있다.
• 아키텍처는 변수 간의 의존성을 모델링하고 간선 확률을 예측하기 위해 주로 그래프 신경망과 어텐션 메커니즘을 사용한다.
• 간선 확률은 종단 간(end-to-end)으로 예측되며, 이는 불확실성 정량화와 점 추정을 위한 임계값 설정을 가능하게 한다.
• 모델의 아키텍처와 훈련 데이터에 의해 코딩된 영구적 편향을 활용하여, 훈련 중에 본 바보다 더 큰 그래프로 일반화할 수 있다.

실험 결과

연구 질문

• RQ1 합성 데이터로부터 직접 인과적 구조를 예측할 수 있는 신경망을 훈련시킬 수 있는가? 이는 그래프에 대한 조합적 검색을 피할 수 있는가?
• RQ2 작은 그래프로 훈련된 모델이 훨씬 더 큰, 볼 수 없는 그래프로 일반화하는 데 얼마나 잘 성능을 내는가?
• RQ3 수작업으로 만든 점수 함수에 의존하지 않고, 시뮬레이터가 생성한 데이터로부터 도메인 특화의 영구적 편향을 학습할 수 있는가?
• RQ4 모델은 그래프의 구조, 메커니즘, 노이즈, 문제 크기의 분포 이동에 얼마나 강건한가?
• RQ5 특히 유전체와 같은 고위험 도메인에서, 인과 예측에 대해 보정된 불확실성 추정을 제공할 수 있는가?

주요 결과

• AVICI는 합성 데이터와 반합성적 유전자 발현 데이터에서 기존 방법들을 크게 능가하며, 특히 분포 이동과 높은 노이즈 조건에서 성능이 뛰어나다.
• 유전자 발현 데이터셋에서 AVICI는 오직 유일하게 타당한 인과적 구조를 추론했으며, 도전적인 생물학적 도메인에서 최신 기술 수준의 성능을 보였다.
• 관찰 데이터만을 사용하여 Grn 도메인에서 AUROC 0.901 (±0.04)과 AUPRC 0.656 (±0.10)을 달성하여, 간섭 데이터 없이도 강력한 성능을 보였다.
• 기타 모든 베이스라인보다 예상 보정 오차(Expected Calibration Error, ECE)가 낮았으며, 비모수적 부트스트랩 방법을 제외한 모든 방법보다 우수하여 보정된 불확실성 추정이 잘 이루어졌음을 시사한다.
• 훈련 시에 본 바보다 최대 30개의 변수를 가진 그래프로 일반화했으며, 이는 강력한 영구적 편향 전이 능력을 보여준다.
• SHD와 F1 측정치에서 GES와 GIES와 경쟁적으로 성능을 내었고, 확률적 측정치에서는 DAG-GNN, LiNGAM, DCDI를 모두 능가했다.