[논문 리뷰] Structural Agnostic Modeling: Adversarial Learning of Causal Graphs

Diviyan Kalainathan, Olivier Goudet외 3명|arXiv (Cornell University)|2018. 03. 13.

Bayesian Modeling and Causal Inference참고 문헌 31인용 수 29

한 줄 요약

이 논문은 신경망을 사용한 적대적 훈련을 통해 인과 그래프와 조건부 분포를 동시에 학습하는 새로운 인과 발견 방법인 구조 무관 모델링(SAM)을 제안한다. 조건부 이상성 테스트, 분포 비대칭성, 희박성 및 순환성 제약을 통합함으로써 SAM은 합성 및 실세계 데이터셋에서 최신 기술 수준을 초월하는 성능을 달성하였으며, 특히 11개 단백질으로 구성된 복잡한 신호 전달 네트워크에서도 정밀도와 재현율 면에서 기존 방법을 능가하였다.

ABSTRACT

A new causal discovery method, Structural Agnostic Modeling (SAM), is presented in this paper. Leveraging both conditional independencies and distributional asymmetries, SAM aims to find the underlying causal structure from observational data. The approach is based on a game between different players estimating each variable distribution conditionally to the others as a neural net, and an adversary aimed at discriminating the generated data against the original data. A learning criterion combining distribution estimation, sparsity and acyclicity constraints is used to enforce the optimization of the graph structure and parameters through stochastic gradient descent. SAM is extensively experimentally validated on synthetic and real data.

연구 동기 및 목표

• 관측 데이터에서 기능 메커니즘 또는 데이터 분포에 대한 사전 지식 없이도 기저의 인과 구조를 식별할 수 있는 인과 발견 방법을 개발하는 것.
• 조건부 이상성 관계와 분포 비대칭성을 통합한 유일한 학습 프레임워크를 통해 인과 그래프 식별 성능을 향상시키는 것.
• 인과 구조 학습의 조합적 복잡성을 적대적 훈련과 정규화를 통해 연속 최적화 문제로 변환함으로써 해결하는 것.
• 딥 신경망을 사용해 그래프 구조와 조건부 밀도 추정기를 동시에 엔드 투 엔드로 학습시키며, 희박성과 순환성의 명시적 강제 조건을 부여하는 것.
• 시스템 생물학 및 경제학 등 실세계 응용 분야에 적합한 강건하고 확장 가능하며 일반적인 인과 발견 도구를 제공하는 것.

제안 방법

• SAM은 관측 데이터로부터 마르코프 핵심을 학습함으로써 각 변수의 분포를 부모 변수 조건부로 모델링한다.
• 실제 데이터와 생성된 데이터를 구분하도록 훈련되는 적대적 판별기(디스criminator)를 사용하여 생성기(generator)가 현실적인 조건부 분포를 생성하도록 유도한다.
• 손실 함수는 로그우도 추정, 희박성을 위한 L1 정규화, 그리고 인접 행렬 지수의 트레이스를 기반으로 한 미분 가능한 순환성 페널티를 조합한다.
• 전체 프레임워크는 확률적 경사 하강법을 통해 최적화되어 인과 그래프 구조와 조건부 밀도 추정기의 엔드 투 엔드 훈련을 가능하게 한다.
• f-GAN 프레임워크를 활용하여 비선형 설정에서 특히 분포 매칭과 일반화 성능을 향상시킨다.
• 순환성 제약을 제거함으로써 SAM은 순환 그래프에 적응 가능하여, 생물학적 신호 전달 네트워크와 같은 피드백이 풍부한 시스템에 적용할 수 있다.

실험 결과

연구 질문

• RQ1 적대적 훈련을 갖춘 딥 생성 모델이 조건부 이상성과 분포 비대칭성을 모두 활용하여 관측 데이터에서 인과 구조를 효과적으로 식별할 수 있는가?
• RQ2 희박성과 순환성 제약을 통합함으로써 비선형 설정에서 인과 그래프의 식별 가능성과 일반화 성능이 어떻게 향상되는가?
• RQ3 SAM이 합성 및 실세계 데이터셋, 특히 복잡하고 고차원적인 시스템에서 기존 인과 발견 방법보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 어떤 상황에서 GAN 기반 적대적 훈련이 인과 구조 학습에서 표준 평균 제곱 오차 최소화 기법보다 우월한가?
• RQ5 SAM은 순환성 또는 피드백 기반 시스템, 예를 들어 생물학적 신호 전달 네트워크와 같이 순환성을 강제하지 않는 환경에서도 효과적으로 적용될 수 있는가?

주요 결과

• SAM은 약 1,500개 변수를 가진 DREAM5 인공 네트워크에서 최신 기술 수준의 방법들을 크게 능가하여 강력한 확장성과 성능을 입증하였다.
• Sachs 등(2005)의 11단백질 신호 전달 네트워크에서 SAM은 가장 높은 AUPR 점수를 기록했으며, Raf → Mek → Erk와 같은 핵심 인과 경로를 정확히 복원하였다.
• 비선형 기능 메커니즘이 존재하는 합성 데이터셋에서 SAM은 정밀도와 재현율 면에서 뛰어난 성능을 보였으며, 특히 분포 비대칭성이 존재할 경우 두드러진 성능 향상을 보였다.
• 손상 실험 결과, 특히 복잡하고 덧셈이 아닌 비선형 설정에서 적대적 훈련과 비선형 신경망 메커니즘이 성능 향상에 필수적임을 확인하였다.
• 모든 벤치마크에서 치명적인 실패를 피하는 등 일관되게 강건한 성능을 유지하였으며, 다른 방법이 실패하거나 성능이 열 劣할 때에도 안정적인 성능을 보였다.
• 강력한 계산 효율성과 확장성을 입증하였으며, GPU 하드웨어에서 효과적인 훈련이 가능하여 고차원 데이터에의 적용이 가능하였다.