[논문 리뷰] Conditional $β$-VAE for De Novo Molecular Generation

Ryan J Richards, Austen M Groener|arXiv (Cornell University)|2022. 05. 01.

Computational Drug Discovery Methods인용 수 5

한 줄 요약

이 논문은 조건부 β-VAE와 상호정보 기반 훈련을 제안하여 잠재 공간의 분리도를 향상시켜 신규 분자 생성 성능을 향상시킨다. pLogP와 QED와 같은 목표 분자 성질에 따라 잠재 공간을 조건화함으로써, 이 모델은 제약 조건이 없는 최적화 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, ZINC-250k 데이터셋에서 벌점 처리된 LogP(104.29)의 새로운 SOTA 기록을 수립하고, 유효성, 신규성, 유일성 점수에서도 기존 SOTA를 유지하였다.

ABSTRACT

Deep learning has significantly advanced and accelerated de novo molecular generation. Generative networks, namely Variational Autoencoders (VAEs) can not only randomly generate new molecules, but also alter molecular structures to optimize specific chemical properties which are pivotal for drug-discovery. While VAEs have been proposed and researched in the past for pharmaceutical applications, they possess deficiencies which limit their ability to both optimize properties and decode syntactically valid molecules. We present a recurrent, conditional $β$-VAE which disentangles the latent space to enhance post hoc molecule optimization. We create a mutual information driven training protocol and data augmentations to both increase molecular validity and promote longer sequence generation. We demonstrate the efficacy of our framework on the ZINC-250k dataset, achieving SOTA unconstrained optimization results on the penalized LogP (pLogP) and QED scores, while also matching current SOTA results for validity, novelty and uniqueness scores for random generation. We match the current SOTA on QED for top-3 molecules at 0.948, while setting a new SOTA for pLogP optimization at 104.29, 90.12, 69.68 and demonstrating improved results on the constrained optimization task.

연구 동기 및 목표

• 잠재 공간의 분리도를 향상시켜 변동성 오토인코더( variational autoencoders)의 신규 분자 생성 성능을 향상시키는 것.
• 표준 VAE가 유효성, 다양성, 성질 최적화가 가능한 분자를 생성하는 데 한계를 보이는 문제를 해결하는 것.
• KL 분산 손실을 동적으로 조정하여 후행 상호정보(posterior mutual information)를 최대화하는 훈련 프로토콜을 개발하는 것.
• pLogP와 QED와 같은 분자 성질을 효과적으로 사후 최적화하기 위해 구조화된 잠재 공간 조건화를 가능하게 하는 것.
• pLogP와 QED 이외의 임의의 분자 성질을 최적화하기 위한 사용자 정의 가능하고 확장 가능한 프레임워크를 구축하는 것.

제안 방법

• pLogP와 QED와 같은 목표 분자 성질에 따라 잠재 공간을 조건화하는 순환적 조건부 β-VAE 아키텍처를 제안한다.
• 잠재 코드와 목표 성질 간의 후행 상호정보를 최대화하기 위해 자동으로 KL 분산 손실 가중치를 조정하는 상호정보 기반 훈련 프로토콜을 도입한다.
• 데이터 증강 기법과 수정된 β-VAE 목표 함수를 적용하여 분자 유효성 향상과 더 긴 시퀀스 생성을 가능하게 한다.
• 최적화 중 분자 유사도 평가를 위해 RDKFingerprints를 사용하여 Tanimoto 유사도를 계산한다.
• pLogP 점수와 유사도 페널티를 조합한 보상 함수를 활용하여 최적화를 이끌면서도 다양성을 유지한다.
• 후행 잠재 표현에 대해 2차원 PCA를 수행하여 잠재 공간 내에서 구조적 및 성질 기반 군집화를 시각화한다.

실험 결과

연구 질문

• RQ1 상호정보 기반 훈련을 통한 조건부 β-VAE는 분자 성질 최적화를 위한 잠재 공간의 분리도를 향상시킬 수 있는가?
• RQ2 pLogP와 QED에 대한 잠재 공간 조건화가 표준 VAE에 비해 사후 최적화 성능을 어떻게 향상시키는가?
• RQ3 데이터 증강 기법과 동적 KL 가중치 조정은 VAE 기반 모델에서 분자 유효성과 생성 길이를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 특히 벌점 처리된 LogP에 대해 제약 조건이 없는 분자 최적화 벤치마크에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ5 모델의 잠재 공간 구조는 성질 기반 군집화와 분자 유사도 측면에서 표준 VAE에 비해 어떻게 다른가?

주요 결과

• 모델은 제약 조건이 없는 최적화 벤치마크에서 ZINC-250k 데이터셋에서 새로운 SOTA 벌점 처리된 LogP 점수 104.29를 기록하여 이전 방법들을 크게 앞서 간다.
• 상위 3개 분자에 대해 현재 SOTA인 QED 점수 0.948을 달성하여 성질 최적화 성능이 뛰어나다는 것을 입증하였다.
• 벤치마크의 점검 부분이 제외된 유효성 측정에서 새로운 SOTA를 달성하여 화학적으로 유효한 분자의 생성 능력이 향상됨을 시사한다.
• 후행 PCA 시각화 결과, 조건부 β-VAE가 성공적으로 잠재 공간을 분리했으며, 분자들이 pLogP 점수와 구조적 유사도 기반으로 군집화되어 있음을 확인하였다.
• 제약 조건이 있는 최적화에서 98.25%의 성공률을 기록하여 평균 향상도에서 이전 방법들을 능가하면서도 높은 다양성을 유지하였다.
• 상호정보 기반 훈련 프로토콜은 재구성 및 분리도 간 균형을 효과적으로 조정하여 더 효과적인 사후 최적화를 이끌었다.