[논문 리뷰] D-VAE: A Variational Autoencoder for Directed Acyclic Graphs

Muhan Zhang, Shali Jiang외 3명|arXiv (Cornell University)|2019. 04. 24.

Advanced Graph Neural Networks참고 문헌 73인용 수 87

한 줄 요약

D-VAE는 DAG에 대한 비동기 메시지 전달을 통한 DAG 변분 오토인코더를 도입하여 DAG의 계산을 인코딩하고, 신경망 아키텍처 검색(NAS) 및 베이지안 네트워크 구조 학습(BNSL)에서 잠재 공간 베이지안 최적화를 가능하게 한다.

ABSTRACT

Graph structured data are abundant in the real world. Among different graph types, directed acyclic graphs (DAGs) are of particular interest to machine learning researchers, as many machine learning models are realized as computations on DAGs, including neural networks and Bayesian networks. In this paper, we study deep generative models for DAGs, and propose a novel DAG variational autoencoder (D-VAE). To encode DAGs into the latent space, we leverage graph neural networks. We propose an asynchronous message passing scheme that allows encoding the computations on DAGs, rather than using existing simultaneous message passing schemes to encode local graph structures. We demonstrate the effectiveness of our proposed DVAE through two tasks: neural architecture search and Bayesian network structure learning. Experiments show that our model not only generates novel and valid DAGs, but also produces a smooth latent space that facilitates searching for DAGs with better performance through Bayesian optimization.

연구 동기 및 목표

• Directed Acyclic Graphs (DAGs)를 신경망 아키텍처 검색(NAS) 및 베이지안 네트워크 구조 학습(BNSL)과 같은 응용에서 최적화하는 도전 과제를 동기 부여하고 해결한다.
• D-VAE의 제안으로, 그래프 구조뿐만 아니라 DAG의 계산을 인코딩하는 DAG-구조의 변분 오토인코더를 제시한다.
• DAG 종속성을 존중하는 인코더-디코더를 위해 그래프 신경망 내 비동기 메시지 전달 스킴을 개발한다.
• 연속 잠재 공간에서의 최적화를 가능하게 하여 베이지안 최적화를 통한 DAG 탐색의 효율성을 높인다.

제안 방법

• 기본 연산으로 구성된 DAG로서 계산을 정의한다.
• 노드의 모든 선행노드를 기다린 뒤에 업데이트하는 비동기 메시지 전달을 통해 DAG를 인코딩하는 그래프 신경망을 사용한다(토폴로지 순서).
• 주입 함수(aggregation)와 업데이트 함수가 주입 가능할 때 DAG의 계산을 잠재 공간으로 매핑하는 주입 인코더를 제공한다(정리 2).
• 잠재 벡터에서 DAG를 재생성하는 유사한 비동기적, 계산 인식 생성 프로세스로 DAG를 디코딩하며 노드- 및 간선 예측 단계가 포함된다.
• 변분 하한을 최대화하고 DAG의 재구성을 장려하기 위해 선생님 강제 학습(teacher forcing)으로 학습한다.
• 재구성, 유효성, 고유성, 참신성 및 다운스트림 최적화에서 DAG에 맞게 조정된 벤치마크와 비교한다(S-VAE, GraphRNN, GCN, DeepGMG).

실험 결과

연구 질문

• RQ1 D-VAE가 DAG의 계산을 주입적으로 인코딩하여 각 계산이 고유한 잠재 임베딩으로 매핑되는가?
• RQ2 D-VAE가 학습한 잠재 표현이 유효한 DAG의 재구성 및 생성을 정확하게 지원하는가?
• RQ3 잠재 공간이 DAG 성능 예측 및 최적화를 안내하는 데 있어 매끄럽고 정보적이게 하는가?
• RQ4 D-VAE 잠재 공간에서의 베이지안 최적화가 베이스라인보다 더 나은 신경망 아키텍처와 베이지안 네트워크를 낳는가?

주요 결과

• D-VAE는 거의 완전에 가까운 재구성 및 높은 사전 유효성을 달성하고, 다양한 과제에서 뛰어난 참신성과 합리적인 고유성을 보인다.
• D-VAE의 잠재 임베딩은 베이스라인과 비교하여 DAG 성능 예측이 잘 된다(RMSE가 더 작고 피어슨 r이 더 높다).
• D-VAE 잠재 공간에서의 베이지안 최적화는 베이스라인보다 더 높은 성능의 신경망 아키텍처를 발견한다(상위 정확도 약 94.80%).
• D-VAE가 찾은 베이지안 네트워크 구조는 베이스라인보다 더 나은 BIC 점수를 달성하고 실제 생성기를 향해 다가간다.
• 학습된 잠재 공간은 더 매끄럽고 고점 영역을 구별하는 능력이 더 좋아 효과적인 탐색이 가능하다.