[논문 리뷰] Spatial Graph Attention and Curiosity-driven Policy for Antiviral Drug Discovery

Yulun Wu, Mikaela Cashman외 14명|arXiv (Cornell University)|2021. 06. 04.

Computational Drug Discovery Methods참고 문헌 58인용 수 8

한 줄 요약

이 논문은 공간적 그래프 어텐션과 궁금증 기반 탐색을 조합하여 SARS-CoV-2 NSP15에 대한 결합 친화도를 최적화하는 데 성능이 뛰어나면서도 합성 가능성이 높은 새로운 분자를 생성하는 강화학습 프레임워크인 Distilled Graph Attention Policy Network (DGAPN)을 제안한다. 이는 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성하며, 낮은 합성 복잡도를 유지한다.

ABSTRACT

We developed Distilled Graph Attention Policy Network (DGAPN), a reinforcement learning model to generate novel graph-structured chemical representations that optimize user-defined objectives by efficiently navigating a physically constrained domain. The framework is examined on the task of generating molecules that are designed to bind, noncovalently, to functional sites of SARS-CoV-2 proteins. We present a spatial Graph Attention (sGAT) mechanism that leverages self-attention over both node and edge attributes as well as encoding the spatial structure -- this capability is of considerable interest in synthetic biology and drug discovery. An attentional policy network is introduced to learn the decision rules for a dynamic, fragment-based chemical environment, and state-of-the-art policy gradient techniques are employed to train the network with stability. Exploration is driven by the stochasticity of the action space design and the innovation reward bonuses learned and proposed by random network distillation. In experiments, our framework achieved outstanding results compared to state-of-the-art algorithms, while reducing the complexity of paths to chemical synthesis.

연구 동기 및 목표

• 항바이러스 약물 발견을 위한 특정 단백질 결합 부위를 목표로 하는 자동화되고 효율적인 신규 분자 생성 프레임워크 개발.
• 광범위하고 이산적인 화학적 공간을 탐색하면서도 분자의 유효성과 물리적 제약 조건을 유지하는 과제 해결.
• 랜덤 네트워크 분산을 통한 궁금증 기반 보상 통합을 통해 강화학습의 탐색 성능 향상.
• 원자 단위 생성이 아닌 프ragment 기반 액션 공간을 사용하여 생성된 분자의 합성 복잡도 감소.
• 결합 친화도, 합성 가능성, 약물 유사성 간의 균형을 고려한 다목적 분자 설계 최적화.

제안 방법

• 노드 중심 메시지 전파 방식을 사용하여 노드 및 엣지 속성, 그리고 공간적 구조를 모두 인코딩하는 공간적 그래프 어텐션 메커니즘(sGAT)을 도입.
• 동적이고 프ragment 기반의 화학적 액션 공간에서 작동하는 정책 기반 강화학습 에이전트를 활용하여 화학적으로 타당한 분자를 생성.
• 희귀 보상 환경에서의 탐색을 향상시키기 위해 랜덤 네트워크 분산을 사용하여 내재적 궁금증 보상을 학습.
• 명시적인 3차원 좌표에 의존하지 않고 인접성, 속성, 공간적 구조 인코딩을 모두 통합한 하이브리드 GNN 아키텍처를 적용.
• 정착된 보상 신호를 통해 안정성을 향상시킨 최신 기술 수준의 정책 기반 강화학습 기법을 사용하여 정책 네트워크를 훈련.
• 분자 도킹 점수, QED, 합성 가능성(SA)를 통합한 다목적 보상 함수를 구현하여 생성 과정을 안내.

실험 결과

연구 질문

• RQ1 공간적 구조와 엣지 속성을 인코딩하는 그래프 어텐션 메커니즘이 강화학습 환경에서 분자 생성 성능을 향상시키는가?
• RQ2 랜덤 네트워크 분산을 통한 궁금증 기반 탐색은 화학적 공간에서의 샘플 효율성과 다양성에 어떻게 기여하는가?
• RQ3 프ragment 기반 액션 공간은 높은 결합 친화도를 유지하면서도 분자의 합성 복잡도를 줄일 수 있는가?
• RQ4 제안된 DGAPN 프레임워크는 SARS-CoV-2 NSP15에 대한 높은 도킹 점수를 가진 분자를 생성하는 데 있어 기존 최신 기술 수준의 방법들을 얼마나 능가하는가?
• RQ5 다목적 최적화는 생성된 화합물에서 결합 친화도, 약물 유사성, 합성 가능성 간의 균형을 얼마나 잘 유지하는가?

주요 결과

• DGAPN는 SARS-CoV-2 NSP15에 대한 최신 기술 수준의 분자 도킹 점수를 달성하여, REINVENT, JTVAE, GCPN, MolDQN, MARS와 같은 기존 방법들을 능가했다.
• 다목적 최적화 하에 생성된 상위 3개 분자는 높은 도킹 점수(기준 비교 대비 최고 성능 분자의 90% 이상)를 기록했으며, 유리한 QED 및 SA 값도 확보했다.
• 분자의 프ragment 기반 조립 방식을 통해 합성 복잡도를 감소시켜 보다 실현 가능하고 효율적인 합성 경로를 가능하게 했다.
• 궁금증 기반 탐색은 샘플 효율성과 다양성 향상에 뚜렷한 기여를 하였으며, 화학적 공간의 더 넓은 커버리지와 훈련 중 보상 분산의 증가로 이를 입증했다.
• 도킹 친화도와 약물 유사성(QED/SA) 사이에 상충 관계가 관찰되어, 모델이 서로 다른 목표를 균형 있게 조율할 수 있음을 확인했다.
• 공간적 그래프 어텐션 메커니즘은 구조적 및 화학적 정보를 효과적으로 인코딩하여, 공간적 인코딩이 없는 모델 대비 더 높은 품질의 분자 생성에 기여했다.