[논문 리뷰] Causal Generative Neural Networks

Olivier Goudet, Diviyan Kalainathan외 4명|arXiv (Cornell University)|2017. 11. 24.

Bayesian Modeling and Causal Inference참고 문헌 36인용 수 23

한 줄 요약

이 논문은 관찰 데이터에서 기능적 인과 모델을 최소화하여 최대 평균 이감(MMD)을 최소화하는 미분 가능한 딥 생성 모델인 인과 생성 신경망(CGNNs)을 소개한다. CGNNs는 이원 및 다변량 인과 구조를 발견하고, 숨겨진 혼란 요인을 처리하며, 간섭 시뮬레이션을 위한 완전한 생성 모델을 생성하여 실수 및 합성 데이터에서 원인-효과 추론, V-구조 식별, 다변량 인과 발견 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present Causal Generative Neural Networks (CGNNs) to learn functional causal models from observational data. CGNNs leverage conditional independencies and distributional asymmetries to discover bivariate and multivariate causal structures. CGNNs make no assumption regarding the lack of confounders, and learn a differentiable generative model of the data by using backpropagation. Extensive experiments show their good performances comparatively to the state of the art in observational causal discovery on both simulated and real data, with respect to cause-effect inference, v-structure identification, and multivariate causal discovery.

연구 동기 및 목표

• 관찰 인과 발견을 위한 미분 가능하고 엔드 투 엔드로 훈련 가능한 프레임워크를 개발하여 딥 생성 모델링과 인과 구조 학습을 통합한다.
• 가산성 노이즈나 선형성을 가정하지 않고도 관찰 데이터에서 이원 및 다변량 인과 구조, 특히 V-구조와 혼란 관계를 발견할 수 있도록 한다.
• 간섭 추정을 지원하는 공동 분포의 완전한 생성 모델을 생성함으로써, 많은 이전 인과 발견 방법이 출력하는 인과 그래프만 제공하는 것과는 달리, 이를 가능하게 한다.
• 제약 기반 및 이변량 방법에서 흔히 발생하는 스케letal 오류와 숨겨진 혼란 요인에 대한 강건성을 향상시킨다.
• 후속 응용에서 간섭 분포 시뮬레이션을 요구하는 딥 러닝 호환 가능한 확장 가능한 접근 방식을 제공한다.

제안 방법

• CGNNs는 관찰된 데이터와 생성된 데이터 분포 간의 최대 평균 이감(MMD)을 최소화하도록 백프로파게이션을 통해 훈련된 딥 생성 네트워크를 사용하여 공동 분포를 모델링한다.
• 아키텍처는 각 변수가 부모 변수와 독립적인 노이즈 변수로부터 생성되는 기능적 인과 모델(FCMs) 기반으로, 인과 그래프의 구조는 네트워크의 연결성에 의해 인코딩된다.
• 이 방법은 통합된 미분 가능한 프레임워크 내에서 분포 비대칭성(원인-효과 쌍 식별용)과 조건부 독립성(비-구조 및 스케letal 발견용)을 모두 활용한다.
• CGNNs는 가우스 커널을 사용한 MMD 기반의 미분 가능한 손실 함수를 사용하여 기울기 기반 최적화와 엔드 투 엔드 훈련을 가능하게 한다.
• 모델은 관찰 데이터 분포를 재구성하면서도 기반 인과 그래프를 학습하며, 학습된 생성 과정을 통해 간선에 신뢰도 점수를 할당한다.
• 샘플링 중에 변수를 특정 값으로 고정함으로써 간섭을 지원하며, 도-계산법 간섭 시뮬레이션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드로 훈련 가능한 미분 가능한 딥 생성 모델이 관찰 데이터에서 인과 구조를 발견하면서도, 미분 가능성과 확장성 유지가 가능한가?
• RQ2 숨겨진 혼란 요인이 존재하는 상황에서 신경망 기반 접근 방식이 분포 비대칭성과 조건부 독립성을 동시에 활용해 인과 발견에 얼마나 효과적으로 기여할 수 있는가?
• RQ3 CGNNs가 실수 및 합성 데이터에서 원인-효과 추론, V-구조 식별, 다변량 인과 발견 분야에서 최신 기술 수준의 방법들을 능가할 수 있는가?
• RQ4 CGNNs의 미분 가능성은 딥 러닝 파이프라인에 얼마나 잘 통합될 수 있으며, 간섭 시뮬레이션을 지원하는 데 얼마나 기여하는가?
• RQ5 기존 알고리즘과 비교해 CGNNs는 스케letal 오류와 관측되지 않은 혼란 요인 존재 상황에서 얼마나 강건한가?

주요 결과

• CGNN는 숨겨진 혼란 요인 존재 시 인과 발견에서 AUPRC 0.71* (0.13)을 달성하여 RFCI-HSIC(0.41)와 Jarfo(0.54)를 상당히 앞서며, AUPRC 및 SHD에 대해 p < 0.01의 유의미성 확보.
• 100개 변수를 가진 합성 데이터에서 CGNN는 네 장치의 NVIDIA 1080Ti GPU를 사용해 30시간 내에 AUPRC 85.5 ± 4.0을 달성하여 확장성 입증.
• Sachs 단백질 네트워크 데이터셋에서 CGNN는 raf → mek → erk 신호 전달 경로를 성공적으로 복원하였으며, 올바르게 방향화된 간선에는 높은 신뢰도 점수, 잘못된 간선에는 낮은 점수 할당.
• CGNN는 스케letal의 오염된 간선에 대해 강건성을 보였으며, 제약 기반 방법인 PC-HSIC보다 뛰어난 성능 유지를 보였고, 분포 비대칭성과 조건부 독립성의 하이브리드 사용 덕분이다.
• CGNN는 Jarfo 및 PC-HSIC와 달리 간섭 시뮬레이션을 지원하는 완전한 생성 모델을 생성했으며, 이는 인과 그래프만 출력하는 기존 방법들과의 주요 차이점이다.
• 모델은 관측되지 않은 공통 원인에 의해 유도된 가짜 간선을 효과적으로 제거하였으며, 이에 대해 낮은 신뢰도 점수를 할당했고, 진정한 인과 간선에는 높은 신뢰도 유지.