[논문 리뷰] Junction Tree Variational Autoencoder for Molecular Graph Generation

Wengong Jin, Regina Barzilay외 1명|arXiv (Cornell University)|2018. 02. 12.

Machine Learning in Materials Science참고 문헌 37인용 수 711

한 줄 요약

JT-VAE는 두 단계 프로세스를 통해 분자 그래프를 생성합니다: 먼저 유효한 하위구조의 접합 트리, 그런 다음 그래프 디코더가 전체 분자를 조립하여 100% validity와 강한 속성 최적화를 제공합니다.

ABSTRACT

We seek to automate the design of molecules based on specific chemical properties. In computational terms, this task involves continuous embedding and generation of molecular graphs. Our primary contribution is the direct realization of molecular graphs, a task previously approached by generating linear SMILES strings instead of graphs. Our junction tree variational autoencoder generates molecular graphs in two phases, by first generating a tree-structured scaffold over chemical substructures, and then combining them into a molecule with a graph message passing network. This approach allows us to incrementally expand molecules while maintaining chemical validity at every step. We evaluate our model on multiple tasks ranging from molecular generation to optimization. Across these tasks, our model outperforms previous state-of-the-art baselines by a significant margin.

연구 동기 및 목표

• 연속 표현 학습을 통해 속성 최적화와 유효한 그래프 생성을 촉진하는 자동 분자 설계.
• SMILES 기반의 한계를 극복하기 위해 화학적으로 유효한 중간체를 갖는 분자 그래프를 직접 모델링.
• 생성 중 실행 가능성을 보장하기 위해 접합 트리(두 단계 디코더) 및 그래프 디코더를 개발.

제안 방법

• 분자를 유효한 하위구조(클러스터)들의 접합 트리로 표현합니다.
• 트리 인코더와 그래프 인코더를 사용한 메시지 전달 신경망으로 접합 트리와 전체 분자 그래프를 잠재 벡터 z_T와 z_G에 인코딩합니다.
• 먼저 접합 트리를 재구성한 다음 그래프 디코더로 부분 그래프를 전체 분자 그래프로 조립하여 디코딩합니다.
• 변분 오토인코더 목표와 트리의 토폴로지 및 라벨 예측에 대한 교차 엔트로피 손실로 학습합니다.
• 클러스터 라벨을 화학적으로 호환되는 옵션으로 제약하여 디코딩 시 화학적 유효성을 보장합니다.

실험 결과

연구 질문

• RQ1 접합 트리 표현을 사용한 직접 그래프 기반 생성을 통해 SMILES 기반 방법보다 화학적 유효성과 다양성을 향상시킬 수 있는가?
• RQ2 두 단계 JT-VAE가 prior에서의 재구성 정확도, 샘플링 하에서의 유효성 및 속성 가이드 최적화에서 향상되는가?
• RQ3 베이지안 최적화 및 분자 특성의 제약 최적화에서 JT-VAE의 성능은 어떠한가?

주요 결과

방법	재구성	유효성
CVAE	44.6%	0.7%
GVAE	53.7%	7.2%
SD-VAE	76.2%	43.5%
GraphVAE	-	13.5%
Atom-by-Atom LSTM	-	89.2%
JT-VAE	76.7%	100.0%

• JT-VAE는 prior에서 디코딩 시 재구성 정확도 76.7%와 100% 유효성을 달성합니다.
• JT-VAE는 분자 생성 및 최적화 작업에서 SMILES 기반 기준선보다 현저히 우수합니다.
• 베이지안 최적화에서 JT-VAE는 (top1 점수 5.30 vs 4.04 for SD-VAE) 기준선보다 높은 속성 점수를 가진 상위 분자들을 찾습니다.
• JT-VAE 임베딩에서 학습된 스파스 가우시안 프로세스는 기준선보다 더 나은 예측 성능을 보입니다 (LL = -1.658, RMSE = 1.290).
• 제약된 최적화는 유사성 제약(delta = 0.4)에서 최대 80%의 성공률과 평균 0.84의 개선을 보여줍니다.
• 접합 트리 분해로 인해 분클러스터 수에 선형 복잡도로 효율적인 디코딩을 달성합니다.