[논문 리뷰] Learning Latent Space Energy-Based Prior Model for Molecule Generation

Bo Pang, Tian Han외 1명|arXiv (Cornell University)|2020. 10. 19.

Machine Learning in Materials Science참고 문헌 9인용 수 7

한 줄 요약

이 논문은 문자 수준의 SMILES 문자열을 사용하여 화학적으로 타당하고 유일한 분자 생성을 가능하게 하는 잠재공간 기반 에너지 사전 모델을 제안한다. 이 모델은 명시적인 화학적 규칙 강제 없이도 유효성과 유일성을 보장하며, 데이터 기반으로 표현력 있는 사전 분포를 잠재공간에서 학습함으로써, 유효성, 유일성, 분자 성질 분포 일치도에서 최신 기술 수준의 성능을 달성한다. 이는 복잡한 화학적 규칙이 데이터로부터 암묵적으로 학습될 수 있음을 보여준다.

ABSTRACT

Deep generative models have recently been applied to molecule design. If the molecules are encoded in linear SMILES strings, modeling becomes convenient. However, models relying on string representations tend to generate invalid samples and duplicates. Prior work addressed these issues by building models on chemically-valid fragments or explicitly enforcing chemical rules in the generation process. We argue that an expressive model is sufficient to implicitly and automatically learn the complicated chemical rules from the data, even if molecules are encoded in simple character-level SMILES strings. We propose to learn latent space energy-based prior model with SMILES representation for molecule modeling. Our experiments show that our method is able to generate molecules with validity and uniqueness competitive with state-of-the-art models. Interestingly, generated molecules have structural and chemical features whose distributions almost perfectly match those of the real molecules.

연구 동기 및 목표

• 일반적인 언어 모델 기반 접근 방식에서 자주 발생하는 유효하지 않거나 중복된 출력을 유발하는 단순한 문자 수준의 SMILES 표현을 사용할 때, 화학적으로 타당하고 유일한 분자를 생성하는 데 도전하는 것.
• 이소트ropic 가우시안 사전 분포에 의존하는 이전의 VAE 기반 모델의 한계를 극복하기 위해, 이는 복잡한 화학적 규칙을 효과적으로 학습하는 데 장애가 될 수 있음.
• 표현력 있는 잠재공간 사전 분포를 통해 데이터로부터 화학적 규칙(예: 결합价, 아로마틱성 등)을 암묵적으로 학습할 수 있음을 보여주며, 이는 결합价 검사나 조각 기반 표현 방식과 같은 명시적 제약 조건이 필요 없음을 의미함.
• 유효성, 유일성, 분자 성질 분포 일치도에서 최신 기술 수준의 그래프 기반 및 조각 기반 모델과 경쟁 가능한 성능을 달성함.
• 이 성질들(예: logP, QED, SAS)에 대해 명시적 지도 학습 없이도 실제 데이터 분포와 유사한 분자 성질 분포를 가진 분자를 생성할 수 있음을 보여줌.

제안 방법

• VAE에서 표준 이소트ropic 가우시안 사전 분포를 대체하기 위해, 조건부 자동회귀 생성기(LSTM 기반)와 학습된 잠재공간 기반 에너지 사전 분포를 조합한 하이브리드 생성 모델을 제안함.
• 사전 분포를 길버트 분포로 수식화함: $ p_{\bar{\alpha}}(z) = \frac{1}{Z(\alpha)} \exp(f_{\alpha}(z)) p_0(z) $, 여기서 $ f_{\alpha}(z) $ 는 기본 가우시안 분포에 대한 데이터 기반 보정을 학습하는 신경망임.
• 재구성 기법과 짧은 주기의 마르코프 체인 몬테카를로(MCMC)를 사용하여 후행 기대값을 근사하는 변분 추론 프레임워크를 사용해 모델을 훈련함.
• 이중 단계 학습 과정을 사용함: 먼저 MCMC를 통해 후행 분포 $ p_{\theta}(z|x) $ 를 근사하고, 그 후 근사된 후행 기반의 기울기 추정치를 사용해 모델 파라미터 $ \alpha $ 와 $ \beta $ 를 갱신함.
• 낮은 차원의 잠재공간을 활용해 MCMC 샘플링을 효율적으로 수행함으로써 훈련 중 혼합성과 수렴성을 향상시킴.
• 생성기 네트워크는 잠재 코드를 조건으로 삼아 원-핫 인코딩된 SMILES 토큰을 순차적으로 예측하는 단일층 LSTM으로, 효율적이고 효과적인 분자 생성을 가능하게 함.

실험 결과

연구 질문

• RQ1 잠재공간 기반 에너지 사전 분포 모델은 명시적인 화학적 규칙 강제 없이도 문자 수준의 SMILES 문자열만을 사용하여 화학적으로 타당하고 유일한 분자를 생성할 수 있는가?
• RQ2 잠재공간 내에서 복잡한 데이터 기반 사전 분포를 학습함으로써, 원시적인 SMILES 데이터로부터 복잡한 화학적 규칙(예: 결합价, 아로마틱성 등)을 암묵적으로 포착할 수 있는가?
• RQ3 이 성질들(예: logP, QED, SAS)에 대해 명시적 지도 학습 없이도 생성된 분자들이 실제 데이터의 분포와 얼마나 유사한가? 특히 이러한 성질에 대해 지도 학습이 없는 상황에서의 성능을 평가함.
• RQ4 이 접근 방식은 유효성, 유일성, 성질 일치도에서 최신 기술 수준의 그래프 기반 및 조각 기반 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 표현력 있는 잠재공간 사전 분포는 표준 VAE에서 사용하는 이소트ropic 가우시안 사전 분포보다 얼마나 더 뛰어난 표현력과 다양성을 보이며, 현실적이며 다양한 분자를 생성하는 데 기여하는가?

주요 결과

• 제안된 모델은 ZINC 데이터셋에서 10,000개의 분자를 생성할 때 95.5%의 유효성과 100%의 유일성을 달성하여, 표준 언어 모델 기반 모델을 뛰어넘고, 최고 성능을 보인 조각 기반 및 그래프 기반 모델과도 동등한 성능을 보였다.
• 이 성질들(예: logP, QED, SAS)에 대해 명시적 지도 학습 없이도, 훈련 데이터 내 실제 분자들과 유사한 분자 성질 분포를 생성함.
• FragmentVAE와 비교했을 때, 분자 성질 분포 일치도에서 뛰어난 성능을 보이며, 더 우수한 일반화 능력과 표현력이 있음을 시사함.
• 100%의 신규성(Novelty)을 달성하여, 생성된 모든 분자가 훈련 세트에 존재하지 않음을 보여주며, 강력한 일반화 능력과 다양성을 입증함.
• 복잡한 화학적 규칙들이 데이터로부터 유연한 잠재공간 사전 분포를 통해 암묵적으로 학습될 수 있으며, 그래프 기반 모델에서 요구하는 결합价 검사 등의 명시적 제약 조건에 대한 의존도를 줄일 수 있음을 시사함.
• 표현력 있는 잠재공간 사전 분포가 문자 수준의 SMILES 표현 방식의 단순성에 비해 보완되며, 구조적 복잡성 없이도 고품질의 분자 생성이 가능함을 보여줌.