[논문 리뷰] Symmetry-Aware Actor-Critic for 3D Molecular Design

Gregor N. C. Simm, Robert Pinsler외 2명|arXiv (Cornell University)|2020. 11. 25.

Machine Learning in Materials Science참고 문헌 45인용 수 9

한 줄 요약

이 논문은 3차원 분자 설계를 위한 대칭성 인식형 액터-크리틱 강화학습 프레임워크를 제안한다. 이는 구면 조화함수를 기반으로 한 회전 대칭 표현을 사용하여 원자 위치와 행동을 모델링한다. 정 politicy 및 가치 네트워크에 공간 대칭성을 직접 통합함으로써, 특히 알려지지 않은 스토이히오메트리와 전통적인 그래프 기반 방법이 다룰 수 없는 복잡한 배위 기하학적 구조에서 더 높은 품질이면서도 더 안정적인 3차원 분자 구조를 생성하고 일반화 능력을 향상시킨다.

ABSTRACT

Automating molecular design using deep reinforcement learning (RL) has the potential to greatly accelerate the search for novel materials. Despite recent progress on leveraging graph representations to design molecules, such methods are fundamentally limited by the lack of three-dimensional (3D) information. In light of this, we propose a novel actor-critic architecture for 3D molecular design that can generate molecular structures unattainable with previous approaches. This is achieved by exploiting the symmetries of the design process through a rotationally covariant state-action representation based on a spherical harmonics series expansion. We demonstrate the benefits of our approach on several 3D molecular design tasks, where we find that building in such symmetries significantly improves generalization and the quality of generated molecules.

연구 동기 및 목표

• 그래프 기반 분자 생성 방법의 한계를 해결하기 위해, 3차원 공간 정보를 누락하고 있으며, 금속이나 복잡한 배위 기하학적 구조를 모델링할 수 없다.
• 3차원 분자 설계에서 회전 및 이동 대칭성을 명시적으로 인코딩하는 강화학습 프레임워크를 개발하여 샘플 효율성과 일반화 능력을 향상시키기 위해.
• 대칭성 인식 표현을 사용하여 카르테시안 좌표계에서 원자 위치를 모델링함으로써, 초과화합물 또는 전이 금속 화합물과 같은 복잡한 분자 구조를 생성할 수 있도록 하기 위해.
• 회전 대칭성에 기반한 인덕티브 바이어스가 기존 강화학습 에이전트에 비해 더 높은 유효성, 다양성, 안정성을 갖춘 생성된 분자로 이어진다는 것을 입증하기 위해.

제안 방법

• 상태는 배치된 원자들로 구성된 3차원 캔버스와 남은 원자들의 백으로 정의되는 마르코프 결정 과정을 사용한다. 행동은 원소를 선택하고 3차원 좌표에 배치하는 것으로 구성된다.
• 원자 위치를 인코딩하기 위해 구면 조화함수를 사용하여 회전 대칭 표현을 구성함으로써, 에이전트의 정책이 공간적 회전에 대해 일관되게 변환되도록 보장한다.
• 액터-크리틱 네트워크는 구면 조화함수 계수로 매개변수화된 원자 위치 분포를 갖는 순차적 정책을 사용하여, 등변 행동 선택을 가능하게 한다.
• 가치 함수와 정책은 화학적 유효성, 안정성, 목표 분자 조성을 장려하는 보상 함수를 사용하여 정책 기반 강화학습 방법으로 훈련된다.
• 상태 표현과 행동 분포가 모두 회전에 대해 예측 가능하게 변형되도록 하여, 전체 아키텍처에서 회전 대칭성을 유지함으로써 대칭성 불변성을 보존한다.
• 정확한 스토이히오메트리가 알려지지 않은 단일 백 및 확률적 백 설정을 포함한 3차원 분자 설계 작업에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 알 수 없는 또는 분포 외 스토이히오메트리에서 3차원 분자 생성에 있어 상태-행동 표현의 회전 대칭성이 일반화 능력을 향상시키는가?
• RQ2 대칭성 인식 표현 학습은 기존 강화학습 에이전트에 비해 생성된 3차원 분자 구조의 유효성, 다양성, 안정성에 어떤 영향을 미치는가?
• RQ3 대칭성 인식 강화학습 에이전트는 그래프 기반 모델이 접근할 수 없는 복잡한 배위 기하학적 구조를 어느 정도 생성할 수 있는가?
• RQ4 행동 분포 모델링에 구면 조화함수를 사용함으로써 3차원 분자 설계에서 더 나은 샘플 효율성과 수렴 성능을 달성할 수 있는가?
• RQ5 정확한 스토이히오메트리가 훈련 중에 제공되지 않더라도, 에이전트는 미리 튜닝 없이 더 큰, 알려지지 않은 분자 조성으로 일반화할 수 있는가?

주요 결과

• 제안된 대칭성 인식 에이전트인 Covariant는 단일 백 설정에서 C7H10O2 및 C7H8N2O2 작업에서 평균 수익률이 각각 0.65와 0.71로, 베이스라인 에이전트를 능가한다.
• 정확한 조성 정보가 없는 확률적 백 작업에서는 Covariant가 여전히 뛰어난 성능(각각 평균 수익률 0.65와 0.88)을 유지하여, 정확한 조성에 대한 사전 지식 없이도 강건한 일반화 능력을 보였다.
• Covariant는 Internal 베이스라인에 비해 더 안정적이고 품질이 높은 분자 구조를 생성하며, 수익률의 분산이 낮고, 분포 외 백에서의 성능도 뛰어나다.
• 에이전트는 비유기 결합 패턴을 가진 복잡한 3차원 구조, 예를 들어 초과화합물인 이odium 화합물 등도 성공적으로 생성했으며, 이는 기존 그래프 기반 모델이 접근할 수 없는 영역이다.
• 최적의 베이스라인 에이전트는 더 큰 백에서 유효한 구조를 생성하지 못하고 종종 다중 분자 클러스터를 생성하지만, Covariant는 다양한 구성에서 높은 유효성과 안정성을 유지한다.
• Covariant는 알려지지 않은 분자 조성으로 일반화하는 데 있어 상당히 뛰어난 성능을 보였으며, 분포 외 테스트 백에서 평균 수익률이 높고 분산이 낮아 Internal 에이전트에 비해 뛰어난 성능을 보였다.