[논문 리뷰] An End-to-End Framework for Molecular Conformation Generation via Bilevel Programming

Minkai Xu, Wujie Wang외 5명|arXiv (Cornell University)|2021. 01. 01.

Metal-Organic Frameworks: Synthesis and Applications참고 문헌 47인용 수 20

한 줄 요약

이 논문은 조건부 variational autoencoder 내에서 이중 프로그래밍(bilevel programming)을 사용하여 3D 구조의 가능도를 직접 최적화함으로써, 두 단계 거리 예측 방법에서 발생하는 기하학적 비일관성을 해결하는 엔드 투 엔드 분자 구형 생성 프레임워크인 ConfVAE를 제안한다. 거리 예측과 구형 생성을 동시에 최적화하면서 회전 및 이동 불변성을 유지함으로써 벤치마크 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Predicting molecular conformations (or 3D structures) from molecular graphs is a fundamental problem in many applications. Most existing approaches are usually divided into two steps by first predicting the distances between atoms and then generating a 3D structure through optimizing a distance geometry problem. However, the distances predicted with such two-stage approaches may not be able to consistently preserve the geometry of local atomic neighborhoods, making the generated structures unsatisfying. In this paper, we propose an end-to-end solution for molecular conformation prediction called ConfVAE based on the conditional variational autoencoder framework. Specifically, the molecular graph is first encoded in a latent space, and then the 3D structures are generated by solving a principled bilevel optimization program. Extensive experiments on several benchmark data sets prove the effectiveness of our proposed approach over existing state-of-the-art approaches. Code is available at \url{https://github.com/MinkaiXu/ConfVAE-ICML21}.

연구 동기 및 목표

• 분리된 거리 예측과 3D 구조 생성 단계를 거치는 두 단계적 분자 구형 생성 방법에서 발생하는 기하학적 비일관성 문제를 해결하기 위해.
• 중간 거리 예측에 의존하지 않고, 유효한 3D 구조의 가능도를 직접 최적화하는 엔드 투 엔드 프레임워크를 개발하기 위해.
• 구형 품질 향상과 분포 모델링 향상을 위해 분자 구조의 회전 및 이동 불변성을 유지하기 위해.
• 이중 최적화가 인과적 구조 분포와의 더 나은 일치를 가능하게 하여, 분해된 거리 예측보다 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 분자 구형 생성을 이중 최적화 문제로 공식화하며, 외부 목표는 생성된 3D 구조의 가능도를 최대화하고, 내부 목표는 예측된 거리로부터 구조를 생성하기 위한 거리 기하학 문제를 해결한다.
• 분자 그래프를 잠재 공간으로 인코딩하기 위해 조건부 변동 자동차오더(conditional variational autoencoder, VAE)를 사용하며, 이로부터 3D 구형을 생성한다.
• 거리 예측과 구형 생성을 통합한 공동 학습 기반: 거리 모델에서 샘플링한 거리를 사용해 거리 기반 기하학적 방법으로 구형을 생성하고, 외부 목표를 통해 역전파를 수행한다.
• 모수, 이원 및 연합 수준에서 예측된 거리 분포와 진정한 거리 분포 간의 유사도 평가를 위해 최대 평균 차이(MMD)를 적용한다.
• 반복 최적화를 적용: 거리를 샘플링하고, 내부 최적화(거리 기하학)를 해결하며, 외부 목표를 통해 거리 예측 모델을 갱신한다.
• 쌍별 거리를 중간 변수로 사용하고, 이중 학습을 통해 기하학적 일관성을 확보함으로써, 회전 및 이동에 대한 불변성을 유지한다.

실험 결과

연구 질문

• RQ1 거리 예측과 구형 생성을 동시에 최적화하는 엔드 투 엔드 프레임워크가 두 단계적 방법보다 분자 구형 생성에서 뛰어난 성능을 내는가?
• RQ2 이중 프로그래밍이 거리 예측을 실제 3D 구조 가능도와 더 잘 일치시켜, 생성된 구형의 기하학적 일관성을 향상시키는가?
• RQ3 기존 기준 모델들과 비교해 본다면, 제안된 방법이 실제 원자 간 거리 분포를 얼마나 잘 모델링하는가?
• RQ4 엔드 투 엔드 학습 목표가 현실적이며 에너지가 낮은 구형을 생성하는 데 필수적인가?
• RQ5 사이클을 포함하거나 다양한 화학 조성을 가진 복잡한 분자 구조로 일반화 가능한가?

주요 결과

• ConfVAE는 여러 벤치마크 데이터셋에서 기존 최신 기술(SOTA) 방법을 능가하는 최신 기술 성능을 달성한다.
• 예측된 거리 분포와 진정한 거리 분포 간의 MMD가 크게 감소하였으며, 특히 연합 및 이원 분포에서 두드러진다. 이는 더 뛰어난 분포 모델링 능력을 의미한다.
• 두 단계 모델에 비해 ConfVAE는 더 현실적이며 기하학적으로 일관된 구형을 생성한다. 두 단계 모델은 종종 비일관된 거리 예측으로 인해 이방성 구조를 생성한다.
• 제거 실험 결과, 이중 최적화 구성 요소가 성능 향상에 필수적임을 확인하였으며, 이를 제거하면 성능이 크게 떨어진다.
• RDKit는 구형 생성에서는 경쟁력 있는 성능를 보이지만, 분포 학습이 없는 경험 기반 힘장에 의존함으로써 분포 모델링에서는 열등하다.
• 엔드 투 엔드 목표가 필수적이다: 이는 분해된 거리 가능도 최대화보다 더 정확하고 물리적으로 타당한 구형 분포를 학습할 수 있도록 한다.