[논문 리뷰] A Graph Autoencoder Approach to Causal Structure Learning

Ignavier Ng, Shengyu Zhu외 2명|arXiv (Cornell University)|2019. 11. 18.

Bayesian Modeling and Causal Inference참고 문헌 17인용 수 54

한 줄 요약

그래프 자동인코더(GAE) 기반 그래디언트 방법을 활용한 인과 구조 학습을 소개하며, 비선형 SEM 및 벡터 값 변수들을 다룰 수 있고, 큰 그래프에서 기존의 그래디언트 기반 방법들에 비해 성능이 향상되고 학습 시간이 거의 선형에 가깝다는 것을 보인다.

ABSTRACT

Causal structure learning has been a challenging task in the past decades and several mainstream approaches such as constraint- and score-based methods have been studied with theoretical guarantees. Recently, a new approach has transformed the combinatorial structure learning problem into a continuous one and then solved it using gradient-based optimization methods. Following the recent state-of-the-arts, we propose a new gradient-based method to learn causal structures from observational data. The proposed method generalizes the recent gradient-based methods to a graph autoencoder framework that allows nonlinear structural equation models and is easily applicable to vector-valued variables. We demonstrate that on synthetic datasets, our proposed method outperforms other gradient-based methods significantly, especially on large causal graphs. We further investigate the scalability and efficiency of our method, and observe a near linear training time when scaling up the graph size.

연구 동기 및 목표

• 관찰 데이터로부터 확장 가능한 인과 구조 학습의 필요성을 제시한다.
• 그라디언트 기반 구조 학습을 비선형 관계에 대한 그래프 자동인코더 프레임워크로 일반화한다.
• 연속 최적화 설정에서 벡터 값 변수의 처리를 가능하게 한다.
• 합성 데이터에서 확장성 및 효율성 이점을 입증한다.
• 최첨단 그래디언트 기반 방법들과의 성능을 비교한다.

제안 방법

• 인코더 g1과 디코더 g2 그리고 선형 메시지 전달 A^T H^(j)를 가진 그래프 자동인코더로 인과 구조 학습을 형식화한다.
• 비선형 관계를 모델링하기 위해 f(X^(j),A)=g2(A^T g1(X^(j)))를 사용하되 변수 간 가중치를 공유한다.
• A에 대한 L1 페널티를 포함한 재구성 손실을 최적화한다: min_{A,Θ1,Θ2} 1/2n sum_j ||X^(j) - X_hat^(j)||^2_F + λ||A||_1.
• Acyclicity를 매끄러운 제약식 tr(exp(A ⊙ A)) - d = 0 으로 강제하고 증가 라그랑지안법으로 해결한다.
• 공유 가중치를 가진 g1과 g2에 대해 두 개의 MLP를 사용하고 Adam 등의 그래디언트 기반 최적화를 통해 업데이트한다.
• 스칼라 및 벡터 값 변수를 가진 합성 데이터에서 NOTEARS 및 DAG-GNN과 비교하고 SHD와 TPR을 평가한다.

실험 결과

연구 질문

• RQ1 그래프 자동인코더 프레임워크가 비선형 인과 관계를 모델링하고 인과 구조 학습에서 벡터 값 변수를 지원할 수 있는가?
• RQ2 GAE 기반 접근법이 합성 데이터에서 특히 더 큰 그래프에서 최첨단 그래디언트 기반 방법(NOTEARS, DAG-GNN)보다 정확도를 향상시키는가?
• RQ3 그래프 크기가 커질 때 제안된 방법의 확장성 및 학습 시간 특성은 어떠한가?
• RQ4 스칼라 값 변수 설정과 벡터 값 변수 설정에서 방법의 성능은 어떠한가?

주요 결과

• GAE는 합성 데이터 세트에서 NOTEARS 및 DAG-GNN보다 성능이 우수하며, 특히 더 큰 그래프 크기에서 그렇다.
• 본 방법은 노드 수를 100개로 확장할 때 거의 선형에 가까운 학습 시간을 달성한다.
• 스칼라 값 사례에서 GAE는 테스트된 그래프 크기 및 비선형 데이터 생성 모델에 대해 SHD를 더 낮추고 TPR을 더 높게 제공한다.
• 벡터 값 사례(l=5, 잠재 차원 l′=3)에서 그래프 크기가 커질수록 GAE가 더 나은 SHD와 TPR을 보인다.
• 실험은 DAG-GNN이 이 데이터 세트에서 그다지 확장성이 좋지 않을 수 있음을 시사하며, 일부 설정에서는 NOTEARS가 경쟁력이 있을 수 있다.
• GPU에서 수행된 실험은 DAG-GNN에 비해 GAE 학습 시간이 빠르게 유지됨을 보여준다.