[논문 리뷰] Reinforcement Learning for Molecular Design Guided by Quantum Mechanics

Gregor N. C. Simm, Robert Pinsler외 1명|arXiv (Cornell University)|2020. 02. 18.

Machine Learning in Materials Science참고 문헌 37인용 수 21

한 줄 요약

이 논문은 3차원 카르테시안 좌표에서 직접 작동하는 강화학습 프레임워크를 제안하여, 원자들을 캔버스에 순차적으로 배치함으로써 다양성 있는 분자 구조—클러스터 및 비유기 분자 포함—의 생성을 가능하게 한다. 이 방법은 물리기반 보상으로 양자화학적 에너지 계산을 사용하며, 새로운 환경인 MolGym에서 회전 및 이동에 대해 불변인 정책 네트워크를 통해 성공적인 학습을 이끌어내어 생성된 분자에서 높은 유효성과 구조적 안정성을 달성한다.

ABSTRACT

Automating molecular design using deep reinforcement learning (RL) holds the promise of accelerating the discovery of new chemical compounds. Existing approaches work with molecular graphs and thus ignore the location of atoms in space, which restricts them to 1) generating single organic molecules and 2) heuristic reward functions. To address this, we present a novel RL formulation for molecular design in Cartesian coordinates, thereby extending the class of molecules that can be built. Our reward function is directly based on fundamental physical properties such as the energy, which we approximate via fast quantum-chemical methods. To enable progress towards de-novo molecular design, we introduce MolGym, an RL environment comprising several challenging molecular design tasks along with baselines. In our experiments, we show that our agent can efficiently learn to solve these tasks from scratch by working in a translation and rotation invariant state-action space.

연구 동기 및 목표

• 그래프 기반 분자 생성의 한계를 극복하기 위해 강화학습에서 단일 유기 분자에 국한되고 히우리스틱 보상 함수에 의존하는 모델의 제약을 제거한다.
• 그래프 표현이 아닌 3차원 카르테시안 공간에서 작동함으로써 클러스터 및 무기 화합물과 같은 복잡한 분자 체계의 설계를 가능하게 한다.
• 특히 빠른 양자화학적 방법을 통해 근사된 전자기 에너지를 바탕으로 한 기본 물리적 성질에 기반한 보상 함수를 개발한다.
• 다양한 분자 설계 과제와 양자화학 기반 기준 성능을 갖춘 평가를 위한 기준 환경인 MolGym을 도입한다.
• 이동 및 회전에 대해 불변인 정책 네트워크 아키텍처를 설계하여, 사전 구조적 인덕티브 바이어스 없이도 3차원 분자 공간에서 안정적이고 일반화 가능한 학습이 가능하도록 한다.

제안 방법

• 에이전트는 상태가 원자 좌표이고 행동이 캔버스 상 특정 3차원 위치에 원자를 배치하는 마르코프 결정 과정에서 작동한다.
• 상태 표현은 상대 좌표와 원자 간 거리를 입력 특징으로 사용하여 이동 및 회전에 대해 불변으로 만든다.
• 보상 함수는 양자역학적 에너지에서 유도되며, PM6 반경험적 방법을 통해 계산되어 에너지가 낮고 안정된 분자 구조로의 지도를 제공한다.
• 원자 상호작용을 인코딩하면서도 전역적 이동 및 회전에 대해 불변성을 유지하는 메시지 전달 레이어를 사용한 새로운 액터-크리틱 신경망 아키텍처를 제안한다.
• 표준 정책 기반 강화학습 방법(예: PPO)을 사용하여 정책을 엔드 투 엔드로 최적화하며, 확률적 행동 샘플링을 통해 탐색을 가능하게 한다.
• MolGym 환경에는 단일 분자 형성, 다중 백 풀 합성, 용매 모델링 등의 과제가 포함되어 있으며, 각 과제는 정의된 타겟 스토이히오메트리와 기준 성능 지표를 제공한다.

실험 결과

연구 질문

• RQ1 카르테시안 좌표에서의 강화학습은 그래프 기반 방법의 범위를 초월하여 안정적이고 유효한 분자 구조를 생성할 수 있는가?
• RQ2 양자화학적 에너지를 기반으로 한 물리기반 보상 함수는 히우리스틱 기술자에 비해 생성된 분자의 품질과 안정성을 향상시킬 수 있는가?
• RQ3 이동 및 회전에 대해 불변인 정책 네트워크는 사전 구조적 인덕티브 바이어스 없이도 분자 설계 과제를 처음부터 효과적으로 학습할 수 있는가?
• RQ4 이러한 방법은 클러스터나 다성분 분자와 같은 더 큰 또는 더 복잡한 분자 체계로 얼마나 잘 확장되는가?
• RQ5 유효성, 다양성 및 구조적 안정성 측면에서 기존 기준 성능에 비해 에이전트의 성능은 어떠한가?

주요 결과

• C2H2O2 과제에서 90%의 유효성 확보 및 다양한 단일 백 과제에서 70–90%의 유효성 확보, 중앙값 RMSD 값이 0.5 Å 이하로 나타나 높은 구조적 안정성을 보였다.
• 다중 백 과제에서는 22개의 고유하고 유효한 분자를 생성하였으며, 중앙값 RMSD가 0.05 Å로 나타나 다성분 체계에 대한 효과적인 학습을 보였다.
• 용매 과제에서는 80–90%의 유효성과 중앙값 RMSD 값 0.92–1.06 Å를 확보하여 용매 상호작용 모델링 능력을 보였다.
• C7H8N2O2 과제에서는 최대 61개의 고유한 분자를 생성하여 복잡한 목표 화학식에도 불구하고 뛰어난 다양성을 보였다.
• 이동 및 회전에 대해 불변인 정책 네트워크 덕분에 다양한 분자 과제에서 안정적인 학습과 일반화가 가능했으며, 명시적 기하학적 지도 없이도 성공했다.
• 양자화학적 에너지를 보상 함수로 사용함으로써 에너지 최소화 최적화 후에도 낮은 에너지, 안정된 분자 구조가 생성되었음을 확인했다.