[논문 리뷰] DAG-GNN: DAG Structure Learning with Graph Neural Networks

Yue Yu, Jie Chen외 2명|arXiv (Cornell University)|2019. 04. 22.

Computational Drug Discovery Methods인용 수 130

한 줄 요약

DAG-GNN은 그래프 신경망과 변분 오토인코더를 이용하여 DAG 구조를 학습하는 심층 생성 모델을 제시하며, 연속형/이산형 및 벡터값 변수를 처리하고 실용적인 비순환성 제약과 증강 라그랑주 최적화를 통한 학습을 제공합니다.

ABSTRACT

Learning a faithful directed acyclic graph (DAG) from samples of a joint distribution is a challenging combinatorial problem, owing to the intractable search space superexponential in the number of graph nodes. A recent breakthrough formulates the problem as a continuous optimization with a structural constraint that ensures acyclicity (Zheng et al., 2018). The authors apply the approach to the linear structural equation model (SEM) and the least-squares loss function that are statistically well justified but nevertheless limited. Motivated by the widespread success of deep learning that is capable of capturing complex nonlinear mappings, in this work we propose a deep generative model and apply a variant of the structural constraint to learn the DAG. At the heart of the generative model is a variational autoencoder parameterized by a novel graph neural network architecture, which we coin DAG-GNN. In addition to the richer capacity, an advantage of the proposed model is that it naturally handles discrete variables as well as vector-valued ones. We demonstrate that on synthetic data sets, the proposed method learns more accurate graphs for nonlinearly generated samples; and on benchmark data sets with discrete variables, the learned graphs are reasonably close to the global optima. The code is available at \url{https://github.com/fishmoon1234/DAG-GNN}.

연구 동기 및 목표

• 선형 SEM 가정을 넘어 샘플로부터 신뢰할 수 있는 DAG 구조를 학습하려는 동기.
• 비선형 및 다양한 데이터 유형(연속, 이산, 벡터값)을 포착하는 심층 생성 프레임워크를 개발한다.
• 가중 인접 행렬 A에 조건화된 데이터 분포를 모델링하기 위해 그래프 신경망 기반 인코더/디코더를 변분 자동인코더 내에서 활용한다.
• 실용적인 연속 제약을 통해 비순환성을 보장하고 증강 라그랑주 최적화를 통한 학습을 수행한다.
• 합성, 벤치마크 및 응용 데이터 세트에서 기존의 선형 SEM 기반 방법과 비교하여 구조 복원을 개선함을 입증한다.

제안 방법

• DAG에 대한 가중 인접 행렬 A를 매개변수화하고 X를 X = f2((I−AT)−1 f1(Z))로 모델링하며 Z를 잠재 입력으로 둔다.
• 인코더가 q(Z|X)를 계산하고 디코더가 A를 조건으로 하는 p(X|Z)를 정의하는 그래프 신경망 기반 VAE를 사용한다.
• 폐쇄형 KL(q(Z|X)‖p(Z))와 몬테카를로 재구성 항이 포함된 변분 목표(ELBO)를 채택한다.
• 이산 변수는 행별 소프트맥스가 있는 범주형 디코더 출력을 사용하여 처리하고, 그에 따라 가능도(likelihood)를 조정한다.
• 실용적으로 편리한 비순환성 제약 h(A) = tr[(I + α A∘A)^m] − m = 0를 도입하고 증강 라그랑주 방법으로 최적화한다.
• 학습은 증강 라그랑주 함수 최소화와 라그랑주 승수 및 패널티 C의 업데이트를 교대로 수행하여 비순환성 제약을 만족시킨다.

실험 결과

연구 질문

• RQ1 그래프 신경망 기반 변분 자동인코더가 비선형 및 혼합형 데이터(연속 및 이산)에서 DAG 구조를 정확하게 복원할 수 있는가?
• RQ2 제안된 DAG-GNN 프레임워크가 합성 비선형 데이터와 이산 변수 벤치마크에서 선형 SEM 기반 방법(DAG-NOTEARS 등)보다 우수한가?
• RQ3 실용적인 비순환성 제약의 적용이 딥 생성 DAG 모델에서 학습된 그래프의 품질에 어떤 영향을 미치는가?
• RQ4 벡터값 변수도 이 DAG-GNN 프레임워크에서 효과적으로 모델링되어 스칼라 변수 접근법에 비해 구조 복원을 개선할 수 있는가?

주요 결과

데이터 세트	m	실제 정답	GOPNILP	DAG-GNN
Child	20	-1.27e+4	-1.27e+4	-1.38e+4
Alarm	37	-1.27e+4	-1.12e+4	-1.28e+4
Pigs	441	-3.48e+5	-3.50e+5	-3.69e+5

• 합성 비선형 데이터에서 DAG-GNN은 DAG-NOTEARS에 비해 SHD를 개선하고 FDR을 상당히 감소시키며, 특히 비선형성이 증가할수록 그렇다.
• 벡터값 데이터의 경우 DAG-GNN은 DAG-NOTEARS를 능가하여 모든 실제 간선을 회복하고 정확도도 비슷하거나 더 좋다.
• 이산 벤치마크 데이터 세트(Child, Alarm, Pigs)에서 DAG-GNN은 ground-truth에 근접한 BIC 점수와 GOPNILP와의 경쟁력을 보이며, 더 간단한 자동인코더에도 불구하고 그렇다.
• 단백질 신호망(Sachs 등)에서 DAG-GNN은 비교 방법 중 최저 SHD(18-22 범위)를 달성하고 다수의 진짜 및 타당한 간접/역방향 간선을 갖는 그럴듯한 비순환 그래프를 학습한다.
• 이 프레임워크는 지식베이스 관계 그래프로 확장되어 KB 스키마 데이터로부터 직관적인 인과 관계를 추출한다.