[논문 리뷰] Keeping it Simple: Language Models can learn Complex Molecular Distributions

Daniel Flam-Shepherd, Kevin Zhu외 1명|arXiv (Cornell University)|2021. 12. 06.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 단순한 언어 모델, 특히 SELFIES 분자 표현 방식을 사용할 경우, 기존의 최첨단 그래프 기반 생성 모델보다 도전적인 과제들—예를 들어 높은 페널티가 부과된 LogP 분포를 갖는 분자 생성, 다중 모달 분포, PubChem의 대량 분자 생성—에서 복잡한 분자 분포를 효과적으로 학습할 수 있음을 보여준다. 결과적으로 언어 모델은 낮은 데이터 환경에서도 타당성, 유일성, 신선도 측면에서 뛰어난 성능을 보였다.

ABSTRACT

Deep generative models of molecules have grown immensely in popularity, trained on relevant datasets, these models are used to search through chemical space. The downstream utility of generative models for the inverse design of novel functional compounds depends on their ability to learn a training distribution of molecules. The most simple example is a language model that takes the form of a recurrent neural network and generates molecules using a string representation. More sophisticated are graph generative models, which sequentially construct molecular graphs and typically achieve state of the art results. However, recent work has shown that language models are more capable than once thought, particularly in the low data regime. In this work, we investigate the capacity of simple language models to learn distributions of molecules. For this purpose, we introduce several challenging generative modeling tasks by compiling especially complex distributions of molecules. On each task, we evaluate the ability of language models as compared with two widely used graph generative models. The results demonstrate that language models are powerful generative models, capable of adeptly learning complex molecular distributions -- and yield better performance than the graph models. Language models can accurately generate: distributions of the highest scoring penalized LogP molecules in ZINC15, multi-modal molecular distributions as well as the largest molecules in PubChem.

연구 동기 및 목표

• 기존의 생성 모델이 어려워하는 복잡한 분자 분포를 학습할 수 있는 단순한 언어 모델의 능력을 평가하기 위해.
• SMILES와 SELFIES 표현 방식을 사용한 언어 모델을 최첨단 그래프 기반 생성 모델(JTVAE 및 CGVAE)과 비교하기 위해.
• 언어 모델이 그래프 모델이 실패하는 복잡하고 다중 모달적이며 대규모 분자 분포로 일반화할 수 있는지 조사하기 위해.
• 분자 표현 방식(SMILES 대비 SELFIES)이 모델 성능 및 일반화 능력에 미치는 영향을 평가하기 위해.
• 미래의 분자 생성 모델링 연구를 자극하기 위해 벤치마크 과제와 데이터셋을 제공하기 위해.

제안 방법

• 세 가지 도전적인 생성 모델링 과제를 구축: (1) ZINC15의 페널티가 부과된 LogP 분포, (2) 다양한 분자 유형(GDB13, CEP, POLYMERS)을 조합한 다중 모달 분포, (3) PubChem의 대량 분자.
• LSTM 아키텍처를 사용한 순환 신경망(RNN) 언어 모델을 SMILES 및 SELFIES 문자열 표현 방식으로 훈련하며 드롭아웃 및 학습률 최적화를 적용.
• 표준 두 가지 그래프 기반 생성 모델인 JTVAE 및 CGVAE를 사용하여 동일한 과제에서 직접 비교할 수 있도록 훈련.
• 각 모델의 성능을 최적화하기 위해 100개의 구성에 대해 무작위 탐색을 통해 초모수 최적화를 수행.
• 표준 평가 지표를 사용해 모델을 평가: 타당성, 유일성, 창의성, 훈련 데이터 분포와의 워샤프스키 거리.
• SELFIES를 적용하여 문법에 부합하는 분자 문자열 표현 방식을 사용하여 생성된 문자열이 사전에 화학적으로 타당함을 보장.

실험 결과

연구 질문

• RQ1 최첨단 그래프 기반 모델이 어려워하는 복잡한 분자 분포를 단순한 언어 모델이 학습할 수 있는가?
• RQ2 분자 표현 방식(SMILES 대비 SELFIES)의 선택이 분자 생성에서 언어 모델의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 다중 모달 또는 고분자량 분포에서 언어 모델이 그래프 기반 모델보다 우수한 성능을 보이는가?
• RQ4 언어 모델이 훈련 데이터를 얼마나 많이 암기하고, 얼마나 잘 새로운 타당한 분자로 일반화하는가?
• RQ5 페널티가 부과된 LogP 점수와 같은 미세한 에너지/성질의 차이를 갖는 분포를 언어 모델이 효과적으로 학습할 수 있는가?

주요 결과

• 모든 과제에서 SELFIES 기반 언어 모델이 SMILES 기반 모델보다 뛰어난 성능을 보였으며, 특히 대규모 과제에서 타당성, 유일성, 창의성 측면에서 높은 성능을 보였다.
• SMILES 기반 RNN은 훈련 데이터와의 워샤프스키 거리가 높아 상당한 암기 현상을 보였지만, SELFIES 기반 RNN은 약간 열악한 워샤프스키 지표에도 불구하고 더 우수한 일반화 성능를 보였다.
• 그래프 기반 모델(JTVAE 및 CGVAE)은 페널티가 부과된 LogP 과제에서 주요 모드를 학습하지 못했고, PubChem의 가장 큰 분자에 대해서는 훈련이 불가능했다.
• JTVAE는 고리만 포함된 분자나 비환형 분자를 포함한 다양한 트리 구조를 학습해야 하여 다중 분포 과제에서 어려움을 겪었다.
• CGVAE는 훈련 중에 하나의 샘플드 트레이스만 사용하기 때문에 다양한 생성 트레이스를 학습하는 데 어려움을 겪어 다중 분포 과제에서 실패했다.
• 언어 모델은 세 가지 복잡한 분포에서 모두 분자를 성공적으로 생성했으며, 최고 점수를 받은 페널티가 부과된 LogP 분자와 가장 큰 PubChem 분자까지 생성하여 강력한 일반화 능력을 입증했다.