[논문 리뷰] Designing Random Graph Models Using Variational Autoencoders With Applications to Chemical Design.

Bidisha Samanta, Abir De외 2명|arXiv (Cornell University)|2018. 02. 14.

Machine Learning in Materials Science참고 문헌 29인용 수 34

한 줄 요약

이 논문은 비유클리드 구조, 노드 순열 불변성, 가변적인 그래프 크기 문제를 전용 인코더 및 디코더 아키텍처를 통해 다루는 그래프용 변분 오토인코더를 제안한다. 이는 원하는 局소적 구조적 및 기능적 특성을 가진 그래프 생성을 가능하게 하며, 분자 설계 분야에서 최신 기법들을 능가하고 알려진 랜덤 그래프 모델을 정확히 모방한다.

ABSTRACT

Deep generative models have been praised for their ability to learn smooth latent representation of images, text, and audio, which can then be used to generate new, plausible data. However, current generative models are unable to work with graphs due to their unique characteristics--their underlying structure is not Euclidean or grid-like, they remain isomorphic under permutation of the nodes labels, and they come with a different number of nodes and edges. In this paper, we propose a variational autoencoder for graphs, whose encoder and decoder are specially designed to account for the above properties by means of several technical innovations. Moreover, the decoder is able to guarantee a set of local structural and functional properties in the generated graphs. Experiments reveal that our model is able to learn and mimic the generative process of several well-known random graph models and can be used to create new molecules more effectively than several state of the art methods.

연구 동기 및 목표

• 그래프의 비유클리드성, 순열 불변성, 가변 크기 성질로 인해 기존 딥 생성 모델이 그래프를 다루는 데에 한계를 가지는 문제를 해결하기 위해.
• 그래프 불변성을 유지하고 유연한 그래프 생성을 지원하는 인코더 및 디코더를 설계하기 위해.
• 생성된 그래프가 특정 국소적 구조적 및 기능적 특성을 만족하도록 보장하기 위해.
• 기존에 알려진 랜덤 그래프 모델의 생성 과정을 학습하고 재현하기 위해.
• 최신 기법들에 비해 분자 생성 성능을 향상시키기 위해.

제안 방법

• 인코더는 노드 레이블링에 불변인 잠재 표현을 생성하기 위해 순열 동치 메시지 전파를 갖는 그래프 신경망을 사용한다.
• 디코더는 구조 일관성을 유지하면서 노드 단위로 그래프를 구성하는 미분 가능하고 자동회귀적 생성 과정을 활용한다.
• 잠재 공간 최적화를 위해 변분 추론 목표를 도입하여 매끄러운 보간 및 생성을 가능하게 한다.
• 생성된 그래프에 원하는 국소적 특성(예: 차수 분포, 연결성 등)을 보장하기 위해 디코더에 구조 제약 조건의 집합을 통합한다.
• 스티커스틱 샘플링을 통한 역전파를 가능하게 하기 위해 재생성 기법을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 모델은 합성 랜덤 그래프 모델과 실제 분자 데이터셋 모두에서 평가된다.

실험 결과

연구 질문

• RQ1 변분 오토인코더는 복잡한 비유클리드 구조를 가진 그래프를 효과적으로 학습하고 생성할 수 있으며, 순열 불변성을 유지할 수 있는가?
• RQ2 이 모델은 에르되시-레니 및 바라바시-알버트와 같은 잘 알려진 랜덤 그래프 모델의 생성 과정을 어느 정도 정확히 모방할 수 있는가?
• RQ3 기존 최신 기법들에 비해 원하는 구조적 및 기능적 특성을 가진 분자를 더 효과적으로 생성할 수 있는가?
• RQ4 학습된 잠재 공간은 의미 있는 보간 및 새로운 유효한 그래프 생성을 얼마나 잘 지원하는가?

주요 결과

• 모델은 에르되시-레니 및 바라바시-알버트 네트워크를 포함한 여러 기준 랜덤 그래프 모델의 생성 과정을 성공적으로 학습하고 재현하였다.
• 디코더가 국소적 구조적 특성을 강제할 수 있는 능력 덕분에 기존 기준 대비 더 높은 유효성과 품질의 그래프를 생성하였다.
• 분자 생성 벤치마크에서, 모델은 생성된 분자의 유효성과 신선도 모두에서 기존 최신 기법들을 능가하였다.
• 학습된 잠재 공간은 그래프 간의 매끄러운 보간을 가능하게 하여 분자 구조의 연속적이고 의미 있는 표현임을 시사한다.
• 모델은 크기와 간선 수가 다양한 그래프에 대해 잘 일반화되어 있어, 다양한 구조적 다양성에 대한 강건성을 보였다.
• 원하는 화학적 특성을 가진 분자 생성에서 경쟁적인 성능을 달성하여 약물 발굴 응용 분야에서 큰 잠재력을 보였다.