[논문 리뷰] Constrained Graph Variational Autoencoders for Molecule Design

Qi Liu, Miltiadis Allamanis외 2명|arXiv (Cornell University)|2018. 05. 23.

Computational Drug Discovery Methods참고 문헌 31인용 수 234

한 줄 요약

CGVAE는 순차 그래프 생성 프로세스와 도메인 특화 마스크를 갖춘 그래프 구조의 VAE를 제안하여 유효한 분자를 생성하고, 분자 특성의 잠재 공간 최적화를 가능하게 한다.

ABSTRACT

Graphs are ubiquitous data structures for representing interactions between entities. With an emphasis on the use of graphs to represent chemical molecules, we explore the task of learning to generate graphs that conform to a distribution observed in training data. We propose a variational autoencoder model in which both encoder and decoder are graph-structured. Our decoder assumes a sequential ordering of graph extension steps and we discuss and analyze design choices that mitigate the potential downsides of this linearization. Experiments compare our approach with a wide range of baselines on the molecule generation task and show that our method is more successful at matching the statistics of the original dataset on semantically important metrics. Furthermore, we show that by using appropriate shaping of the latent space, our model allows us to design molecules that are (locally) optimal in desired properties.

연구 동기 및 목표

• 학습 데이터 분포를 따르는 화학적 유효성 제약이 있는 그래프 생성을 학습하도록 유도한다.
• 그래프 구조 데이터를 다루는 인코더와 디코더를 모두 갖춘 변분 자동인코더를 개발한다.
• 구문적으로 유효한 분자 그래프를 보장하기 위해 하드 도메인 특화 제약을 incorporated 한다.
• 잠재 공간을 형성하고 활용하여 수치적 분자 특성의 최적화를 가능하게 한다.

제안 방법

• VAE의 인코더와 디코더 모두에서 gated graph neural networks(GGNNs)를 사용한다.
• 현재 부분 그래프에만 조건부로 두고 그래프를 구축하기 위해 집중(focus) 및 확장(expand) 결정에 초점을 두고, 순차적 그래프 확장 프로세스를 채택한다.
• 화학적 유효성을 강제하고 불법 그래프를 방지하기 위해 하드 원자 밸런시 기반 마스킹을 적용한다.
• 생성 추적에 대한 로그 가능도에 근사하는 몬테카를로 추정치를 통해 재구성 objective로 학습한다.
• 연속적인 최적화를 가능하게 하기 위해 잠재 공간에서의 특성 최적화를 위한 미분 가능 회귀 모델과 z-공간에서의 경사 상승를 제공한다.

실험 결과

연구 질문

• RQ1 그래프 구조의 VAE가 순차 그래프 생성을 통해 훈련 분포의 화학적으로 관련된 통계와 일치하는 분자를 생성할 수 있는가?
• RQ2 마스킹 및 GGNN 기반 디코딩이 데이터셋 간 생성된 분자의 유효성, 신규성, 고유성을 개선하는가?
• RQ3 학습된 잠재 공간을 활용하여 QED와 같은 수치적 분자 특성을 최적화할 수 있는가?
• RQ4 그래프 생성에 제약을 두는 것이 비제약 그래프 생성기에 비해 확장성 및 학습 안정성에 어떤 영향을 미치는가?

주요 결과

• CGVAE는 QM9, ZINC, CEPDB 데이터셋에서 높은 유효성, 신규성 및 고유성을 달성한다.
• 모델은 원자 및 결합 기수, 링 개수 등과 같은 훈련 그래프 통계를 일치시켜 분포 포착의 충실도를 나타낸다.
• 거리 특성, 독립성 가정 또는 GGNN의 제거가 결과를 악화시키므로 마스킹 및 순차 디코딩과 GGNN가 성능에 중요하다.
• 잠재 공간은 QED와 같은 특성의 그라디언트 기반 최적화를 가능하게 하여 예측 및 RDKit-측정된 QED가 더 높은 분자들을 생성한다.
• 베이스라인 대비 CGVAE는 잘못된 분자 생성을 줄이고 가파르지 않으며 안정적인 학습 프로세스를 제공하면서 연속적 최적화를 가능하게 한다.