[논문 리뷰] A Systematic Assessment of Deep Learning Models for Molecule Generation

Davide Rigoni, Nicolò Navarin외 1명|arXiv (Cornell University)|2020. 08. 20.

Computational Drug Discovery Methods참고 문헌 15인용 수 5

한 줄 요약

이 논문은 분자의 설계를 위한 딥 러닝 생성 모델 평가를 위한 체계적인 벤치마킹 프레임워크를 제시한다. 주로 변분 오토에코더(Variational Autoencoders, VAEs)와 GANs를 대상으로 하며, QM9 및 ZINC 데이터셋에서 8개의 모델을 표준화된 지표를 사용해 평가한다. 그 결과, Junction Tree VAE와 Constrained Graph VAE가 타당성, 신규성, 화학적 성질 일치성의 최적의 균형을 달성한 것으로 나타났다. 반면, MolGAN의 모드 붕괴나 그래프 기반 모델의 재구성 문제 등 일부 한계도 드러났다.

ABSTRACT

In recent years the scientific community has devoted much effort in the development of deep learning models for the generation of new molecules with desirable properties (i.e. drugs). This has produced many proposals in literature. However, a systematic comparison among the different VAE methods is still missing. For this reason, we propose an extensive testbed for the evaluation of generative models for drug discovery, and we present the results obtained by many of the models proposed in literature.

연구 동기 및 목표

• 분자의 생성을 위한 딥 러닝 모델 간 공정하고 표준화된 비교가 부족한 문제를 해결하기 위해, 현재는 일관되지 않은 지표와 평가 절차에 의존하고 있다.
• 다양한 모델 간 일관된 훈련/테스트 분할, 하이퍼파ram터, 평가 프로토콜을 사용하여 재현 가능한 벤치마킹 프레임워크를 구축한다.
• 최신의 VAE 및 GAN 기반 모델들이 화학적으로 타당하고, 새로운, 성질이 풍부한 분자를 생성하는 데서의 강점과 약점을 평가한다.
• 높은 타당성과 고유성 유지와 함께 주요 분자 성질(예: QED, SAS, 용해도)을 얼마나 잘 유지하는지 평가한다.
• 코드와 데이터셋을 공개하여 향후 생성 분자의 설계 분야에서의 재현 가능성과 공정한 비교를 가능하게 한다.

제안 방법

• 연구는 QM9(134만 개의 소분자)와 ZINC(250만 개의 약물 유사 분자)라는 두 가지 표준 데이터셋에서 8개의 생성 모델—Character VAE, Grammar VAE, Syntax Directed VAE, Junction Tree VAE, Regularized Graph VAE, Constrained Graph VAE, MolGAN—을 평가한다.
• 고정된 훈련/테스트 분할, 원 논문에서 제시된 하이퍼파ram터(또는 ZINC에 맞게 조정된 경우)를 사용한 일관된 하이퍼파ram터 설정, 그리고 각 모델당 20,000개의 잠재 샘플을 포함하는 표준화된 평가 파이프라인을 구현한다.
• 평가 지표는 두 가지 범주로 나뉘며, 구조적 지표(재구성, 타당성, 고유성, 신규성)와 화학적 지표(NP, 용해도, SAS, QED)로 나뉘며, 결과는 평균 ± 표준편차로 보고된다.
• 모델는 생성된 분자가 타당한지(타당성), 훈련 세트에 없는 새로운 분자인지(신규성), 바람직한 약물 유사 성질을 지닌 분자인지(예: QED, SAS 등)를 평가한다.
• 재구성 능력은 입력 분자를 인코딩하고 디코딩하여 계산되며, 타당성은 생성된 SMILES 문자열 중 타당한 분자를 구성하는 비율이다. 고유성은 훈련 세트에 없는 생성된 분자의 비율이다.
• 화학적 성질 점수는 QED, SAS 등의 표준 기술자(Descriptor)를 사용하여, 모델이 바람직한 약리학적 특성을 지닌 분자를 얼마나 잘 생성하는지 평가한다.

실험 결과

연구 질문

• RQ1 표준화된 평가 조건 하에서 QM9 및 ZINC 데이터셋에서 분자의 생성을 위한 딥 러닝 생성 모델 중 타당성과 신규성이 가장 높은 것은 무엇인가?
• RQ2 다양한 아키텍처 설계(예: SMILES 기반 대비 그래프 기반, 문법 유도 대비 잠재공간 제약)는 생성된 분자의 품질과 다양성에 어떤 영향을 미치는가?
• RQ3 모델는 QED, SAS, 용해도와 같은 주요 화학적 성질을 얼마나 잘 유지하는가? 원본 데이터셋과의 점수 비교는 어떻게 이루어지는가?
• RQ4 MolGAN처럼 높은 타당성에도 불구하고 낮은 고유성(유일성)을 보이는 이유는 무엇이며, 이는 약물 발견에 대한 적합성에 어떤 함의를 갖는가?
• RQ5 재구성 성능과 모델 아키텍처(예: 트리 기반 접합 구조 대비 직접적인 그래프 생성)는 전체 생성 품질과 어떤 상관관계가 있는가?

주요 결과

• Junction Tree VAE와 Constrained Graph VAE가 QM9 및 ZINC 데이터셋에서 모두 타당성 >95%, 신규성 >80%, 고유성 >85%의 최고 수준의 종합 성능을 기록했다.
• MolGAN은 높은 타당성(92.3%)과 높은 신규성(68.5%)을 보였지만, 저조한 고유성(12.4%)을 보이며 모드 붕괴로 인해 다양한 신규 화합물을 발견하는 데서 한계를 보였다.
• Character VAE는 낮은 타당성(28.7%)과 재구성(31.2%)을 보였지만, 높은 고유성(92.1%)과 높은 신규성(89.3%)을 보이며 많은 유일한 분자를 생성하지만, 대부분이 타당하지 않은 분자임을 시사한다.
• Grammar VAE는 Character VAE 대비 타당성(54.1%)과 재구성(58.3%)에서 향상되었지만, QM9에서 특히 높은 변동성을 보이며 여전히 문제를 겪는다.
• Constrained Graph VAE는 ZINC에서 높은 타당성(96.7%)과 높은 신규성(85.4%)을 기록했지만, 큰 분자의 복잡성으로 인해 재구성 능력은 열악한 편(22.1%)이었다.
• Junction Tree VAE는 화학적 성질에서 뛰어난 성능을 보였으며(QED: 0.78, SAS: 3.2), 원본 데이터셋의 기준과 매우 유사하여 약물 유사 특성을 효과적으로 포착하고 있음을 시사한다.