[논문 리뷰] TorsionNet: A Reinforcement Learning Approach to Sequential Conformer Search

Tarun Chowdary Gogineni, Ziping Xu외 5명|arXiv (Cornell University)|2020. 06. 12.

Computational Drug Discovery Methods인용 수 9

한 줄 요약

TorsionNet는 유연한 분자에서 효율적인 순차적 커퍼머 검색을 위한 강화학습 프레임워크를 도입하며, 커리큘럼 학습과 새로운 겹치는 점수(based on Gibbs Score) 기반 보상 함수를 사용하여 회전 각도 공간을 탐색한다. 큰 알칸에서 최고의 기존 화학정보학적 방법보다 최대 4배 빠르며, 리그닌에서는 주어진 방법보다 수개의 주기 차이로 성능을 뛰어넘으며, 훨씬 적은 계산 자원으로 고비용의 MD 시뮬레이션과 유사한 성능을 낸다.

ABSTRACT

Molecular geometry prediction of flexible molecules, or conformer search, is a long-standing challenge in computational chemistry. This task is of great importance for predicting structure-activity relationships for a wide variety of substances ranging from biomolecules to ubiquitous materials. Substantial computational resources are invested in Monte Carlo and Molecular Dynamics methods to generate diverse and representative conformer sets for medium to large molecules, which are yet intractable to chemoinformatic conformer search methods. We present TorsionNet, an efficient sequential conformer search technique based on reinforcement learning under the rigid rotor approximation. The model is trained via curriculum learning, whose theoretical benefit is explored in detail, to maximize a novel metric grounded in thermodynamics called the Gibbs Score. Our experimental results show that TorsionNet outperforms the highest scoring chemoinformatics method by 4x on large branched alkanes, and by several orders of magnitude on the previously unexplored biopolymer lignin, with applications in renewable energy.

연구 동기 및 목표

• 고회전 결합 수를 가진 대규모 유연한 분자에서 효율적이고 확장 가능한 커퍼머 검색에 도전하는 것.
• ETKDG와 Confab과 같은 기존 화학정보학적 도구를 능가하는 방법을 개발하여, 특히 그들의 실용적 한계를 넘는 분자에 대해서도 성능을 높이는 것.
• 리그린과 같은 복잡한 생고분자에서의 구조적 다양성 공간을 정확하게 샘플링할 수 있도록 하는 것. 이는 재생 가능 에너지 응용 분야에서 매우 중요하다.
• 조합적 분자 검색 문제에 대해 강화학습에서 커리큘럼 학습의 이론적 및 실용적 이점을 탐색하는 것.

제안 방법

• TorsionNet는 강체 회전자 근사 하에 순차적 강화학습 접근법을 사용하며, 결합 길이와 각도는 고정된 채로 뿐만 아니라 회전 각도만 변화시킨다.
• 각 단계에서 독립적인 회전 각도 샘플링 분포를 모델링하기 위해 메시지 전달 신경망(MPNN)과 장기 단기 기억(LSTM) 유닛을 사용한다.
• 낮은 에너지, 열역학적으로 의미 있는 커퍼머로의 탐색을 이끌기 위해 겹치는 점수(based on Gibbs Score)에 기반한 비정적 보상 함수를 사용한다.
• 커리큘럼 학습은 회전 결합 수가 점차 증가하는 분자들에서 학습을 수행함으로써, 단순한 구조에서 복잡한 구조로 점진적으로 진행한다.
• 직접 매개변수 전이와 엔트로피 기반 탐색을 사용하여 학습 중 샘플 효율성을 향상시킨다.
• 이론적으로, 정리 1을 통해 커리큘럼 기반 검색의 샘플 복잡도가 확률적 보장 하에 경계지어짐을 입증한다.

실험 결과

연구 질문

• RQ1 강화학습이 고유연성 분자에서 순차적 커퍼머 검색에 효과적으로 적용될 수 있는가? 기존 화학정보학적 방법보다 성능이 뛰어나게 되는가?
• RQ2 커리큘럼 학습이 구조적 복잡도가 증가하는 조합적 분자 검색 작업에서 샘플 복잡도를 크게 감소시키는가?
• RQ3 학습된 정책이 점점 더 많은 회전 결합 수를 가진 분자, 특히 리그린과 같은 고-rbn 체계에서 일반화 가능한가?
• RQ4 겹치는 점수(based on Gibbs Score) 기반 보상 함수는 기존의 에너지 기반 보상 함수보다 구조적 다양성 공간 탐색을 더 효율적으로 이끄는가?
• RQ5 TorsionNet는 고비용의 분자 동역학 시뮬레이션의 구조적 다양성 샘플링을 어느 정도 재현할 수 있는가?

주요 결과

• TorsionNet는 고회전 결합 수를 가진 큰 가지 구조 알칸에서 기존 최고의 화학정보학적 방법(Confab)보다 4배 빠른 성능을 보였다.
• 이전에 탐색되지 않은 생고분자 리그린에서는, TorsionNet가 기존 방법보다 샘플링 효율에서 최소 4개 주기 이상 뛰어나게 성능을 냈다.
• 리그린에서 TorsionNet는 고비용의 Self-Guided MD 시뮬레이션과 유사한 성능을 낼 수 있었으며, 계산 자원을 훨씬 적게 사용했다.
• 커리큘럼 학습 전략은 샘플 복잡도를 감소시키며, 이론적 경계는 작업 난이도가 점진적으로 증가할 경우 수렴 속도 향상을 보였다.
• 모델는 MD 시뮬레이션과의 비교를 통해 복잡한 분자에서 핵심적인 구조적 다양성 영역을 탐지하고 탐색하는 데 성공했다.
• 겹치는 점수(based on Gibbs Score) 기반 보상 함수의 사용은 고차원 회전 각도 공간에서도 낮은 에너지 커퍼머의 효과적인 탐색을 가능하게 했다.