[논문 리뷰] Graph Deconvolutional Generation

Daniel Flam-Shepherd, Tony Wu외 1명|arXiv (Cornell University)|2020. 02. 14.

Advanced Graph Neural Networks참고 문헌 26인용 수 13

한 줄 요약

이 논문은 메시지 전달 신경망을 인코더와 디코더 양쪽에 통합한 메시지 전달 그래프 변분 오토에인코더(MPGVAE)를 제안한다. 이를 통해 분자 그래프 생성 성능을 햖스리고, 기존의 고비용 그래프 매칭이 필요로 하지 않으면서도 유효성, 유일성, 분포 일치도를 향상시킨다. GVAE의 다층 퍼셉트론 디코더를 그래프 신경망으로 대체함으로써 MPGVAE는 간선 상관관계와 구조적 종속성을 포착하며, GVAE보다 300% 더 많은 새로운 유효하고 유일한 분자들을 생성한다.

ABSTRACT

Graph generation is an extremely important task, as graphs are found throughout different areas of science and engineering. In this work, we focus on the modern equivalent of the Erdos-Renyi random graph model: the graph variational autoencoder (GVAE). This model assumes edges and nodes are independent in order to generate entire graphs at a time using a multi-layer perceptron decoder. As a result of these assumptions, GVAE has difficulty matching the training distribution and relies on an expensive graph matching procedure. We improve this class of models by building a message passing neural network into GVAE's encoder and decoder. We demonstrate our model on the specific task of generating small organic molecules

연구 동기 및 목표

• 분자 그래프의 간선과 노드가 상호 독립적이라는 가정으로 인해 기존의 그래프 변분 오토에인코더(GVAE)가 학습 데이터 분포를 정확히 재현하지 못하고 유효한 분자 그래프를 생성하지 못하는 한계를 해결하기 위해.
• 메시지 전달 신경망(MPNNs)을 인코더와 디코더 양쪽에 통합함으로써 그래프 구조 데이터에 대한 GVAE의 인덕티브 바이어스를 향상시키기 위해.
• 분자 그래프 생성 과정에서 고비용의 그래프 매칭 절차에 의존하지 않도록 하기 위해 더 나은 구조 모델링을 가능하게 하기 위해.
• 기존의 GVAE, MolGAN, GrammarVAE와 같은 방법들에 비해 유효하고, 유일하며, 새로운 분자 그래프를 더 우수한 성능으로 생성하기 위해.
• 연속적(QED, logP, SA) 및 이산적(원자 및 고리 수) 분자 통계에서 분포 일치도를 향상시키는 데 성공함을 보여주기 위해.

제안 방법

• 그래프 생성을 위한 변분 오토에인코더(VAE)의 인코더와 디코더 양쪽에 메시지 전달 신경망(MPNN)을 통합한다.
• T번의 전파 단계를 거친 후 노드 임베딩에서 그래프 수준의 읽기 함수를 사용해 잠재 표현을 생성한다.
• 노드 특징에서 그래프 수준 표현을 집계하고 재구성하기 위해 set2vec 및 vec2set 아키텍처를 사용한다.
• 잠재 공간에 대해 가우시안 사전분포를 사용하고, 인식 네트워크를 통해 사후 분포를 추론하는 변분 추론 프레임워크를 적용한다.
• 학습된 MPNN를 통해 간선 및 노드 특징을 생성하는 디코더를 활용하며, 간선 상관관계 모델링이 가능하다.
• 라벨 벡터(예: 원자 히스토그램)를 노드 특징에 연결하여 제어된 생성을 가능하게 하는 조건부 생성 설정을 적용한다.

실험 결과

연구 질문

• RQ1 GVAE의 인코더와 디코더 양쪽에 메시지 전달 신경망을 통합함으로써 그래프 매칭에 의존하지 않고도 분자 그래프 생성 성능을 향상시킬 수 있는가?
• RQ2 연속적 및 이산적 통계 모두에서 MPGVAE가 GVAE 및 기타 기준 모델에 비해 학습 데이터 분포를 더 잘 포착하는가?
• RQ3 MPGVAE는 GVAE, MolGAN, GrammarVAE에 비해 생성된 분자의 유효성, 유일성, 신규성 측면에서 얼마나 향상되었는가?
• RQ4 지정된 원자 히스토그램을 따라 생성된 분자가 일치해야 하는 조건부 생성 과제에서 MPGVAE는 더 높은 정확도를 달성할 수 있는가?
• RQ5 디코더에 MPNN를 사용함으로써 원래 GVAE의 MLP 디코더보다 더 나은 구조적 종속성과 간선 상관관계 모델링이 가능한가?

주요 결과

• MPGVAE는 10,000개의 사전 샘플에서 3,341개의 유효하고, 유일하며, 새로운 분자를 생성하여 GVAE의 1,185개 대비 300% 증가한 성과를 기록했다.
• MPGVAE는 유효성 91%, 유일성 68%, 신규성 54%를 기록하며, GVAE(81%, 24%, 61%)와 MolGAN(98%, 10%, 94%)에 비해 균형 잡힌 성능을 넘어서는 성과를 보였다.
• MPGVAE는 QED, logP, SA 점수의 생성 분포가 QM9 학습 데이터와 매우 유사하게 일치하며, GVAE와 MolGAN에 비해 분포 일치도에서 뛰어난 성능을 보였다.
• 조건부 생성 과제에서는 MPGVAE가 유효성 89%와 정확도 67%를 기록하여 GVAE의 57% 유효성과 47% 정확도를 크게 앞서갔다.
• MPGVAE는 고리 수 및 원자 수와 같은 이산 통계를 성공적으로 포착하였으며, 기준 모델들보다 QM9 학습 분포에 더 가까운 스택형 히스토그램을 생성했다.
• 시각적 점검 결과, MPGVAE는 고립된 스케일드를 갖지 않은 더 화학적으로 타당한 분자를 생성하는 데 성공했으며, MolGAN과 GrammarVAE는 이와 같은 문제를 보였다.