[논문 리뷰] De novo Drug Design using Reinforcement Learning with Multiple GPT Agents

Xiuyuan Hu, Guoqing Liu외 2명|arXiv (Cornell University)|2023. 12. 21.

Computational Drug Discovery Methods인용 수 6

한 줄 요약

이 논문은 화학적 공간의 다양한 방향에서 협동적 탐색을 장려함으로써 다양하고 높은 점수를 받는 약물 분자를 생성하는 데 다수의 GPT 기반 에이전트를 사용하는 다중 에이전트 강화학습 프레임워크인 MolRL-MGPT를 제안한다. 이 방법은 GuacaMol 벤치마크에서 최신 기술 수준의 성능을 달성하며, 높은 결합 친화도와 약물 유사성을 갖춘 SARS-CoV-2 억제제를 규명한다.

ABSTRACT

De novo drug design is a pivotal issue in pharmacology and a new area of focus in AI for science research. A central challenge in this field is to generate molecules with specific properties while also producing a wide range of diverse candidates. Although advanced technologies such as transformer models and reinforcement learning have been applied in drug design, their potential has not been fully realized. Therefore, we propose MolRL-MGPT, a reinforcement learning algorithm with multiple GPT agents for drug molecular generation. To promote molecular diversity, we encourage the agents to collaborate in searching for desirable molecules in diverse directions. Our algorithm has shown promising results on the GuacaMol benchmark and exhibits efficacy in designing inhibitors against SARS-CoV-2 protein targets. The codes are available at: https://github.com/HXYfighter/MolRL-MGPT.

연구 동기 및 목표

• 신약 설계에서 다양하고 높은 점수를 받는 분자를 생성하는 과제를 해결한다.
• 기존의 강화학습 기반 방법이 자주 유사한 화합물을 생성하는 한계를 극복한다.
• 다중 에이전트 강화학습을 활용해 화학적 공간의 다양한 영역에서 탐색을 향상시킨다.
• 목표 특정 신약 설계에서 분자 다양성을 향상시키면서도 높은 성능 지표를 유지한다.
• GSK3β, JNK3, QED 최대화, SARS-CoV-2 타겟 억제 등 표준 벤치마크 작업과 실제 신약 발견 문제에 프레임워크를 검증한다.

제안 방법

• 다양한 경량 GPT 에이전트가 사전 학습된 SMILES 매개변수를 공유하는 협동적 마르코프 게임로 분자 설계를 간주한다.
• 스코어 함수에 기반한 보상 함수를 통해 원하는 분자 성질을 최대화하기 위해 공통 최적화 목표를 사용한다.
• 에이전트들이 서로 다른 방향으로 탐색하도록 유도하기 위해 보조 손실을 통합하여 분자 다양성을 향상시킨다.
• 학습 안정성 향상과 수렴 개선을 위해 경험 재생(ER)과 탐색 노이즈(σ₁)의 감소 스케줄을 구현한다.
• 이전에 생성된 분자들과 매우 유사한 분자를 생성하는 것을 막기 위해 유사성 페널티 전략을 적용한다.
• 강화학습을 반복적으로 사용하여 각 에이전트가 분자를 생성하고 예측된 성질에 기반한 보상을 수신한다.

실험 결과

연구 질문

• RQ1 다수의 GPT 에이전트가 다중 에이전트 RL 프레임워크에서 협동함으로써 신약 설계에서 분자 다양성을 크게 향상시킬 수 있는가?
• RQ2 방향성 탐색 손실(ED)을 통해 에이전트들이 서로 다른 방향으로 탐색하도록 유도하면 단일 에이전트 방법에 비해 성능과 다양성이 향상되는가?
• RQ3 경험 재생(ER)과 적응형 탐색 노이즈(σ₁)와 같은 보조 구성 요소는 학습 안정성과 점수 성능 향상에 얼마나 효과적인가?
• RQ4 제안된 프레임워크는 SARS-CoV-2 단백질과 같은 실제 타겟에 대해 강한 결합 친화도를 갖는 고품질의 약물 유사 분자를 생성할 수 있는가?
• RQ5 기존의 베이스라인(GFlowNet, Reinvent, JT-VAE 등)에 비해 표준 벤치마크에서 점수와 내부 다양성 측면에서 MolRL-MGPT는 어떻게 비교되는가?

주요 결과

• GSK3β 작업에서 MolRL-MGPT는 평균 점수 1.000 ± 0.000과 내부 다양성 0.362 ± 0.015를 기록하여 모든 베이스라인을 모두 초월하는 성능을 보였다.
• JNK3 작업에서 MolRL-MGPT는 평균 점수 0.961 ± 0.010과 내부 다양성 0.372 ± 0.025를 기록하여 비교된 모든 베이스라인을 초월했다.
• 프레임워크는 SARS-CoV-2 타겟에 높은 결합 친화도를 갖는 최고 성능의 분자를 생성하여 실용적 적용 가능성을 입증했다.
• 절단 실험 결과, 방향성 탐색(ED), 경험 재생(ER), 감소하는 σ₁ 스케줄(DS)이 성능 향상에 유의미하게 기여하는 것으로 확인되었으며, 유사성 페널티(SP)는 유의미한 이점이 없었다.
• QED 최대화 작업에서 MolRL-MGPT는 평균 점수 0.948 ± 0.000과 내부 다양성 0.862 ± 0.004를 기록하여 다양성 측면에서 모든 베이스라인을 능가했으며, 점수 측면에서도 동등하거나 초월했다.
• 네 개의 에이전트가 최적의 성능을 보였으며, 여덟 개로 늘리더라도 성능 향상이 없었고, 이는 다중 에이전트 협업의 포화 상태를 시사한다.