[논문 리뷰] Learning Deep Generative Models of Graphs

Yujia Li, Oriol Vinyals외 3명|arXiv (Cornell University)|2018. 03. 08.

Advanced Graph Neural Networks참고 문헌 33인용 수 447

한 줄 요약

이 논문은 임의 그래프에 대한 분포를 시퀀스 그래프 빌딩 프로세스를 시뮬레이션하여 학습하는 그래프-넷 기반 생성 모델을 소개하고, 합성 그래프와 분자 그래프에서 강한 성능을 보여주며 조건부 생성도 포함합니다.

ABSTRACT

Graphs are fundamental data structures which concisely capture the relational structure in many important real-world domains, such as knowledge graphs, physical and social interactions, language, and chemistry. Here we introduce a powerful new approach for learning generative models over graphs, which can capture both their structure and attributes. Our approach uses graph neural networks to express probabilistic dependencies among a graph's nodes and edges, and can, in principle, learn distributions over any arbitrary graph. In a series of experiments our results show that once trained, our models can generate good quality samples of both synthetic graphs as well as real molecular graphs, both unconditionally and conditioned on data. Compared to baselines that do not use graph-structured representations, our models often perform far better. We also explore key challenges of learning generative models of graphs, such as how to handle symmetries and ordering of elements during the graph generation process, and offer possible solutions. Our work is the first and most general approach for learning generative models over arbitrary graphs, and opens new directions for moving away from restrictions of vector- and sequence-like knowledge representations, toward more expressive and flexible relational data structures.

연구 동기 및 목표

• 그래프에 대한 기존의 무작위 그래프나 문법 기반 접근 방식 너머의 표현력 있는 생성 모델의 필요성을 동기화합니다.
• 그래프 신경망이 주도하는 생성 프로세스를 제안하여 노드와 엣지를 순차적으로 추가해 그래프를 구축합니다.
• 그래프 구조화된 생성이 합성 그래프 작업 및 분자 그래프 생성을 위한 LSTM 기반 베이스라인보다 우수하다는 것을 보여줍니다.
• 그래프 생성에서 조건화 및 순서화 문제를 탐구하고 분자 그래프에 대한 조건부 생성 능력을 입증합니다.

제안 방법

• 각 단계에서 새로운 노드가 추가된 뒤 기존 그래프에 새 노드를 연결할 가능성이 있는 엣지를 추가하는 순차 그래프 생성 프로세스를 정의합니다.
• 노드 추가, 엣지 추가, 연결 대상 선택의 확률을 계산하기 위해 그래프 네트를 사용하여 의사결정 모듈을 매개변수화합니다.
• 전파 기반의 그래프 표현(다중 라운드 메시지 전달)을 사용하여 의사결정 모듈에 피드되는 노드/그래프 임베딩을 계산합니다.
• 근사치를 이용한 주변 가능도 p(G, π)의 결합 가능도를 최대화하는 방식으로 그래프와 생성 순서를 함께 학습합니다(중요도 샘플링에 의한 마진 가능도).
• 초기화 또는 출력 모듈에 조건 벡터를 주입하여 그래프 구성 방향을 조정함으로써 조건부 생성을 허용합니다.

실험 결과

연구 질문

• RQ1 그래프 신경망 기반 생성 모델이 사이클과 복잡한 토폴로지를 가진 임의의 그래프에 대한 분포를 학습할 수 있는가?
• RQ2 제시된 모델이 합성 그래프 생성 작업(사이클, 트리, Barabási–Albert 그래프)에서 베이스라인에 비해 어떻게 수행하는가?
• RQ3 모델이 유효하고 새로운 분자 그래프를 생성할 수 있는가, 그리고 SMILES/LSTM 및 문법 기반 접근법과 비교하면 어떤가?
• RQ4 노드/엣지 순서가 학습 및 생성에 미치는 영향은 무엇이며, 조건화를 통해 조건부 그래프 생성(예: 분자 특성)이 향상될 수 있는가?

주요 결과

데이터세트	그래프 모델	LSTM	E–R 모델
Cycles	84.4%	48.5%	0.0%
Trees	96.6%	30.2%	0.3%
B–A Graphs	0.0013	0.0537	0.3715

• 그래프 생성 모델은 사이클, 트리 및 Barabási–Albert 그래프에서 LSTM 베이스라인보다 점근적 로그 가능도 성능이 더 높다.
• 그래프 모델은 사이클 및 트리에 대해 더 높은 유효 샘플 비율과 Barabási–Albert 그래프의 차수 분포 정합성을 베이스라인보다 개선한다.
• ChEMBL 데이터의 분자 생성에서 그래프 기반 생성 모델은 SMILES 또는 그래프 생성 시퀀스로 학습된 LSTM보다 더 높은 유효 및 신규 샘플을 생성하고, 소분자에서는 주변 가능도에서 경쟁력이 있다.
• 조건부 그래프 생성은 조건화 시나리오 전반에서 더 많은 유효하고 신규 샘플을 생성하는 경향을 보이며, 특히 보간 및 외삽 사례에서 그렇다.