[논문 리뷰] GraphAF: a Flow-based Autoregressive Model for Molecular Graph Generation

Chence Shi, Minkai Xu외 4명|arXiv (Cornell University)|2020. 01. 26.

Computational Drug Discovery Methods참고 문헌 45인용 수 205

한 줄 요약

GraphAF는 분자 그래프 생성을 위한 흐름 기반 자회귀 모델로서 높은 유효성 및 효율성을 달성하고, 강화학습 후 밀도 모델링의 속도와 특성 최적화를 향상시킵니다.

ABSTRACT

Molecular graph generation is a fundamental problem for drug discovery and has been attracting growing attention. The problem is challenging since it requires not only generating chemically valid molecular structures but also optimizing their chemical properties in the meantime. Inspired by the recent progress in deep generative models, in this paper we propose a flow-based autoregressive model for graph generation called GraphAF. GraphAF combines the advantages of both autoregressive and flow-based approaches and enjoys: (1) high model flexibility for data density estimation; (2) efficient parallel computation for training; (3) an iterative sampling process, which allows leveraging chemical domain knowledge for valency checking. Experimental results show that GraphAF is able to generate 68% chemically valid molecules even without chemical knowledge rules and 100% valid molecules with chemical rules. The training process of GraphAF is two times faster than the existing state-of-the-art approach GCPN. After fine-tuning the model for goal-directed property optimization with reinforcement learning, GraphAF achieves state-of-the-art performance on both chemical property optimization and constrained property optimization.

연구 동기 및 목표

• 약물 발견 및 재료 과학을 위한 화학적 유효성 및 특성 최적화 제약 하에서 분자 그래프 생성을 동기 부여합니다.
• 분자 데이터 밀도를 모델링하고 효율적인 학습 및 샘플링을 가능하게 하는 흐름 기반 자회귀 프레임워크를 개발합니다.
• 생성 중 화학 도메인 지식(원자 결합의 유효성 제약)을 통합하고 강화학습을 통해 목표 지향적 최적화를 가능하게 합니다.
• 표준 분자 데이터셋에서 GraphAF를 평가하여 유효성, 고유성, 참신성 및 재구성을 최첨단 방법과 비교합니다.

제안 방법

• 모델링 순서를 노드와 간선을 자회귀적으로 생성하는 순차 의사결정 과정으로 형식화합니다.
• 기저 가우시안에서 이산 그래프 구조로의 가역적 흐름을 비양자화(디퀀타이제이션)와 가우시안 조건부를 사용해 정의합니다.
• Mean 및 scale 매개변수(g_mu, g_alpha)에 대해 신경망으로 노드 및 간선 조건부를 생성하기 위해 Relational GCN(R-GCN)을 사용합니다.
• 마스킹과 BFS 기반 그래프 순서를 통해 효율적인 병렬 학습을 가능하게 하여 단일 순전파에서 정확한 우도 계산이 가능합니다.
• 샘플링 중 원자 유효성 보장을 위해 유효성 검사를 통합하고 전하를 만족시키도록 수소를 추가합니다.
• 제한된 특성 최적화를 위한 페널티 부여된 로그P 및 QED를 최적화하기 위한 선택적 강화학습(PPO) 미세조정.

실험 결과

연구 질문

• RQ1 GraphAF가 효율적인 병렬 학습을 가능하게 하면서 분자 그래프의 데이터 밀도를 정확하게 모델링할 수 있는가?
• RQ2 자회귀 흐름 접근법이 기존 그래프 생성 모델보다 높은 유효성 및 재구성 정확도를 제공하는가?
• RQ3 밀도 모델링, 생성 및 특성/제한된 특성 최적화 측면에서 GraphAF가 기준선 대비 어떤 성능을 보이는가?
• RQ4 원자 유효성 기반 제약과 강화학습이 생성된 분자의 품질과 유효성에 미치는 영향은 무엇인가?

주요 결과

방법	유효성	검사 없이 유효성	고유성	참신성	재구성
JT-VAE	100%	—	100% ‡	100% ‡	76.7%
GCPN	100%	20% †	99.97% ‡	100% ‡	—
MRNN	100%	65%	99.89%	100%	—
GraphAF	100%	68%	99.10%	100%	100%

• 그래프AF는 생성 중 원자 유효성 규칙을 적용하면 100%의 유효성을 달성합니다.
• 원자 유효성 검사 없이도 GraphAF는 68%의 유효성을 달성하며 이는 기존의 자회귀 방법보다 높습니다.
• 동일 하드웨어에서 GraphAF의 학습은 GCPN보다 훨씬 빠르게 진행되어 약 4시간 정도 소요됩니다(비교 대상은 약 8~24시간).
• GraphAF는 ZINC250k, QM9 및 MOSES 데이터셋에서 밀도 모델링 및 생성 측면에서 최첨단 수준에 도달하거나 이를 상회합니다.
• 강화학습으로의 미세조정은 페널티가 부여된 로그P 및 비교 가능한 QED 점수에서 최첨단 결과를 낳으며, 제약된 특성 최적화에서도 강력한 성능을 보입니다.
• 일반 그래프에 대해 GraphAF는 GraphRNN 및 GNF에 비해 경쟁력 있는 MMD 지표를 보입니다.