[논문 리뷰] Amortized Causal Discovery: Learning to Infer Causal Graphs from Time-Series Data

Sindy Löwe, David Madras외 2명|arXiv (Cornell University)|2020. 06. 18.

Bayesian Modeling and Causal Inference참고 문헌 58인용 수 70

한 줄 요약

공유 동역학을 갖는 시계열에 걸쳐 인과 그래프를 추론하도록 학습하는 변분적 두-부분 모델인 Amortized Causal Discovery (ACD)를 제안합니다. 노이즈와 숨겨진 교란이 있어도 인과 발견을 개선합니다.

ABSTRACT

On time-series data, most causal discovery methods fit a new model whenever they encounter samples from a new underlying causal graph. However, these samples often share relevant information which is lost when following this approach. Specifically, different samples may share the dynamics which describe the effects of their causal relations. We propose Amortized Causal Discovery, a novel framework that leverages such shared dynamics to learn to infer causal relations from time-series data. This enables us to train a single, amortized model that infers causal relations across samples with different underlying causal graphs, and thus leverages the shared dynamics information. We demonstrate experimentally that this approach, implemented as a variational model, leads to significant improvements in causal discovery performance, and show how it can be extended to perform well under added noise and hidden confounding.

연구 동기 및 목표

• 다른 기저 그래프를 갖지만 공유 동역학을 가진 시계열에서 인과 발견을 동기화합니다.
• 그래프 예측과 다이나믹스 모델링을 분리하는 암화 인코더-디코더 프레임워크를 도입합니다.
• 샘플 간 학습이 가능하도록 확률적(변분적) 구현을 개발합니다.
• 잠재 표현을 통해 노이즈와 숨겨진 교란에 대한 강인성을 향상합니다.
• 다양한 데이터셋에서 기존 방법에 비해 확장성 및 성능 향상을 시연합니다.

제안 방법

• 두 구성 요소 모델: 암화 인코더 f_phi가 시계열 x에 대해 인과 그래프 G를 예측하고 디코더 f_theta가 x와 G를 주어진 시스템 다이나그램으로 모델링합니다.
• x^{t+1} ≈ g(x^{≤t}, G) + ε 로 형식화하며, G는 시간에 걸쳐 불변이지만 샘플별로 구체화됩니다.
• 변분 목적 함수 L = E_{q_phi(z|x)}[log p_theta(x|z)] - KL[q_phi(z|x) || p(z)], 여기서 z는 G의 간선을 인코드합니다.
• 인코더는 그래프 신경망을 사용해 간선 타입 분포를 생성하고 미분 가능성을 위한 Gumbel-softmax를 적용합니다.
• 디코더는 예측된 간선을 따라 메시지를 전파하고 신경 함수로 차기 값을 예측하며 자기 루프를 포함합니다.
• 무간선 타입은 글로벌 그랜저 인과관계를 반영하기 위해 포함되며 간선이 없으면 영향이 없음을 의미합니다.
• 테스트 시 적응(TTA)을 통해 테스트 시 그래프 예측을 개선하고 데이터가 적은 상황에서의 성능을 향상시킵니다.
• 내부적으로 관찰되지 않는 영향을 모델링하기 위해 인코더에 잠재 변수를 도입해 숨겨진 교란에 대한 강인성과 로버스트니스를 개선합니다.

실험 결과

연구 질문

• RQ1 다른 기저 인과 그래프를 가지는 샘플들에서 공유 동역학 모델을 학습할 수 있는가?
• RQ2 그래프 예측과 다이나믹스 모델링을 분리하는 것이 데이터셋 간의 Granger 인과 발견을 개선하는가?
• RQ3 ACD는 관찰 노이즈와 숨겨진 교란 하에서 어떻게 성능을 보이는가?
• RQ4 테스트 시 적응 및 잠재 교란 변수가 강인성과 정확성을 향상시키는가?
• RQ5 ACD는 표준 단일 그래프 인과 발견뿐 아니라 다중 그래프 상황에도 적용 가능한가?

주요 결과

• ACD는 Kuramoto, Netsim 등의 다중 데이터셋에서 AUROC 측면에서 기본 인과 발견 방법보다 상당히 우수한 성능을 보입니다.
• Kuramoto에서 Amortized Causal Discovery는 AUROC 0.952를 달성하며 모든 표기된 베이스라인을 능가합니다.
• Netsim에서 Amortized Causal Discovery는 AUROC 0.688로 여러 베이스라인과 경쟁적이거나 능가합니다.
• ACD의 인코더 기반 예측은 더 많은 학습 데이터로 개선되며, 테스트 시 적응은 데이터가 적은 구간에서 강력한 성능을 제공합니다.
• 추가 관찰 노이즈에 대해서도 ACD는 로버스트하며 노이즈 증가에 따라 AUROC가 완만하게 감소합니다.
• 숨겨진 교란에 대한 잠재 변수 확장은 관찰되지 않는 온도나 시계열이 있는 실험에서 간선 회복 및 예측 성능을 개선합니다.