[논문 리뷰] Scalable Fragment-Based 3D Molecular Design with Reinforcement Learning

Daniel Flam-Shepherd, A. S. Zhigalin외 1명|arXiv (Cornell University)|2022. 02. 01.

Computational Drug Discovery Methods인용 수 6

한 줄 요약

이 논문은 에너지 기반 보상에 따라 3차원 데카르트 공간에 사전 정의된 분자 조각을 순차적으로 배치함으로써 복잡한 3차원 분자를 설계하는 계층적 강화학습 프레임워크를 제안한다. 이 방법은 100개 이상의 원자를 가진 분자에서 확장 가능하고 고정밀도로 생성하며, 원자 수준의 에이전트에 비해 유효성과 수렴 속도에서 뛰어나면서도 화학자들의 직관과도 부합한다.

ABSTRACT

Machine learning has the potential to automate molecular design and drastically accelerate the discovery of new functional compounds. Towards this goal, generative models and reinforcement learning (RL) using string and graph representations have been successfully used to search for novel molecules. However, these approaches are limited since their representations ignore the three-dimensional (3D) structure of molecules. In fact, geometry plays an important role in many applications in inverse molecular design, especially in drug discovery. Thus, it is important to build models that can generate molecular structures in 3D space based on property-oriented geometric constraints. To address this, one approach is to generate molecules as 3D point clouds by sequentially placing atoms at locations in space -- this allows the process to be guided by physical quantities such as energy or other properties. However, this approach is inefficient as placing individual atoms makes the exploration unnecessarily deep, limiting the complexity of molecules that can be generated. Moreover, when optimizing a molecule, organic and medicinal chemists use known fragments and functional groups, not single atoms. We introduce a novel RL framework for scalable 3D design that uses a hierarchical agent to build molecules by placing molecular substructures sequentially in 3D space, thus attempting to build on the existing human knowledge in the field of molecular design. In a variety of experiments with different substructures, we show that our agent, guided only by energy considerations, can efficiently learn to produce molecules with over 100 atoms from many distributions including drug-like molecules, organic LED molecules, and biomolecules.

연구 동기 및 목표

• 기존의 기계학습 방법이 2차원 표현 방식(예: SMILES, 그래프)에 의존하고 3차원 기하학을 忽시하는 한계를 해결한다.
• 원자 하나씩 생성하는 3차원 분자 생성 방식의 비효율성을 해결하여 깊고 확장 불가능한 탐색 공간을 피한다.
• 화학자가 실생활에서 사용하는 조각 기반 설계 방식을 기계학습에 통합하기 위해 부분 구조를 원자 수준의 동작으로 사용한다.
• 물리적 성질(예: 에너지)에 의해 안내되는 기하학적 제약 조건을 갖춘 확장 가능한 분자 생성을 가능하게 한다.
• 약물 유사성, 생고분자, OLED 재료를 포함한 복잡하고 다양한 3차원 분자(100개 이상의 원자를 가짐)를 생성할 수 있음을 입증한다.

제안 방법

• 원자 수준의 동작이 아닌 전체 분자 조각을 배치하는 고수준 동작을 사용하는 3차원 데카르트 공간에서 작동하는 계층적 강화학습 에이전트를 제안한다.
• 현재 3차원 분자 기하학과 조각 위치를 인코딩하는 상태 표현을 사용하며, 동작는 어느 조각을 배치할지 및 어디에 부착할지 선택하는 방식이다.
• 양자역학적 에너지(예: DFT로 계산된 총 에너지)를 기반으로 보상 함수를 정의하여 낮은 에너지, 안정된 분자 구조를 장려한다.
• 이산-연속 동작 공간을 구현: 이산적 선택(조각 선택 및 치환할 수소 등)과 연속적 좌표(3차원 배치)를 조합한다.
• 정책 기반 강화학습 방법을 사용해 딥 강화학습을 통해 3차원 분자 구조의 엔드 투 엔드 최적화를 수행한다.
• 기하학적 제약 조건과 대칭 고려 표현을 통합하여 훈련 중 샘플 효율성과 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트가 개별 원자를 배치하는 대신 분자 조각을 배치함으로써 복잡하고 안정된 3차원 분자를 학습하여 생성할 수 있는가?
• RQ2 조각 기반 3차원 분자 생성 방식이 유효성, 수렴 속도, 확장성 측면에서 원자 수준의 생성 방식보다 뛰어나게 성능을 발휘하는가?
• RQ3 에너지 기반 보상만을 사용하여도 에이전트가 다양하고 원자 수가 많은 분자(>100개 원자)를 낮은 에너지와 높은 기하학적 유효성으로 생성할 수 있는가?
• RQ4 이 계층적 조각 기반 접근 방식이 화학자들의 직관과 실제 분자 설계 관행과 어느 정도 일치하는가?
• RQ5 이 방법은 약물 유사 화합물, 유기 발광 다이오드, 생고분자 등 다양한 분자 분포에 대해 어떻게 성능을 발휘하는가?

주요 결과

• 에이전트는 100개 이상의 원자를 가진 분자를 성공적으로 생성하여 이전의 3차원 생성 모델이 소분자에 국한된 것과는 달리 확장 가능성을 입증한다.
• 생성된 분자에서 유효성 비율이 95% 이상을 기록하며, MolGym과 같은 원자 수준의 에이전트에 비해 유효성과 수렴 속도에서 뚜렷한 우월성을 보였다.
• 훈련 50,000단계 이내에 낮은 에너지, 안정된 구조로 수렴하며, 20,000단계 이후로 에너지와 기하학적 구조에서 의미 있는 향상이 관찰되었다.
• 아미노산 조각으로 훈련된 에이전트는 펩타이드 유사 3차원 기하학을 생성하는 데 성공하여 올바른 기하학적 추론 능력을 습득한 것으로 나타났다.
• 이 방법은 복잡한 분자 설계에 필수적인 이산적(조각 선택) 및 연속적(공간 배치) 동작 공간을 효율적으로 탐색할 수 있다.
• 이 프레임워크는 도킹 점수나 친수성 등 다양한 보상 함수에 적응 가능하여 약물 결합 또는 촉매 설계와 같은 특정 응용 분야를 위한 타겟 설계를 가능하게 한다.