[논문 리뷰] A novel molecule generative model of VAE combined with Transformer for unseen structure generation

Yasuhiro Yoshikai, Tadahaya Mizuno외 2명|arXiv (Cornell University)|2024. 02. 19.

Process Optimization and Integration인용 수 4

한 줄 요약

이 논문은 변분 오토인코더(VAE)와 트랜스포머 아키텍처를 결합한 새로운 생성 모델을 제안한다. 이 모델은 구조적 및 파rameter 호환성을 최적화하여, 재구성 손실 없이도 압축된 약 ~32차원의 잠재 공간에서 다양하고 새로운 분자 구조를 생성하며, 정확한 성질 예측이 가능하다. 결과적으로, 새로운 분자 구조 생성에서 뛰어난 성능을 달성한다.

ABSTRACT

Recently, molecule generation using deep learning has been actively investigated in drug discovery. In this field, Transformer and VAE are widely used as powerful models, but they are rarely used in combination due to structural and performance mismatch of them. This study proposes a model that combines these two models through structural and parameter optimization in handling diverse molecules. The proposed model shows comparable performance to existing models in generating molecules, and showed by far superior performance in generating molecules with unseen structures. Another advantage of this VAE model is that it generates molecules from latent representation, and therefore properties of molecules can be easily predicted or conditioned with it, and indeed, we show that the latent representation of the model successfully predicts molecular properties. Ablation study suggested the advantage of VAE over other generative models like language model in generating novel molecules. It also indicated that the latent representation can be shortened to ~32 dimensional variables without loss of reconstruction, suggesting the possibility of a much smaller molecular descriptor or model than existing ones. This study is expected to provide a virtual chemical library containing a wide variety of compounds for virtual screening and to enable efficient screening.

연구 동기 및 목표

• 구조적 및 성능 불일치로 인해 VAE와 트랜스포머 아키텍처를 분자 생성에 통합하는 데 도전하는 문제를 해결하기 위해.
• 다양하고 새로운 분자 구조를 생성할 수 있는 통합된 생성 모델을 개발하기 위해.
• 저차원 잠재 표현을 통해 효율적인 분자 성질 예측을 가능하게 하기 위해.
• 자기회귀적 언어 모델 대비 VAE 기반 모델이 새로운 화합물 생성 잠재력을 어떻게 활용할 수 있는지 탐색하기 위해.

제안 방법

• 모델는 VAE와 트랜스포머 디코더를 통합하여 분자 생성에 적합한 아키텍처와 파rameter를 최적화한다.
• ~32차원의 잠재 공간을 학습하여 재구성 손실 없이도 압축된 분자 표현을 가능하게 한다.
• VAE는 분자의 SMILES를 잠재 벡터로 인코딩하고, 트랜스포머는 이를 새로운 분자 구조로 디코딩한다.
• 다양한 분자 데이터셋에서 엔드 투 엔드로 훈련하여 재구성 및 신규성 최대화를 목표로 한다.
• 제거 분석을 통해 독립된 모델들과의 성능 및 일반화 능력을 평가하기 위해 VAE-Transformer 모델을 비교한다.
• 성질 예측은 직접적으로 잠재 표현에서 수행되어, 조건부 생성 응용에서의 유용성을 입증한다.

실험 결과

연구 질문

• RQ1 VAE-Transformer 하이브리드 모델은 기존 모델 대비 더 효과적으로 새로운 분자 구조를 생성할 수 있는가?
• RQ2 자기회귀적 언어 모델과 비교해 VAE-Transformer 모델은 새로운 분자를 생성하는 데서 어떤 성능 차이를 보이는가?
• RQ3 저차원 잠재 공간(~32D)이 분자 재구성 정밀도를 유지하고 정확한 성질 예측을 가능하게 할 수 있는가?
• RQ4 VAE 구성 요소가 조건부 생성 및 성질 예측을 가능하게 하는 데 기여하는 정도는 어떠한가?
• RQ5 구조적 및 파rameter 최적화가 VAE와 트랜스포머 간의 상호작용을 분자 생성에서 얼마나 향상시키는가?

주요 결과

• 제안된 VAE-Transformer 모델은 표준 분자 생성 벤치마크에서 기존 모델과 유사한 성능을 달성한다.
• 모델는 새로운 구조적 모티프를 가진 분자를 생성하는 데서 뛰어난 일반화 능력을 보이며, 우수한 성능을 나타낸다.
• 잠재 표현은 정확한 분자 성질 예측을 가능하게 하여 조건부 생성 응용에 유용하다.
• 재구성 손실이 크게 감소하지 않는 범위에서 잠재 공간을 약 ~32차원으로 압축할 수 있어, 매우 효율적인 분자 기술자로 간주할 수 있다.
• 제거 분석 결과, VAE 기반 생성 방식이 자기회귀적 언어 모델 대비 새로운 성질과 구조적 다양성에서 뛰어난 성능을 보임을 확인하였다.
• 모델의 잠재 공간은 매우 구조적이고 예측 가능하여, 잠재 벡터에서 직접 성질 예측과 같은 후행 작업을 수행할 수 있다.