[논문 리뷰] Towards Better Opioid Antagonists Using Deep Reinforcement Learning

Jianyuan Deng, Zhibo Yang외 3명|arXiv (Cornell University)|2020. 03. 26.

Computational Drug Discovery Methods참고 문헌 30인용 수 11

한 줄 요약

이 연구는 뇌에 대한 농축이 높고 강력한 항작용 활성을 지닌 새로운 였포이드 항작용제를 발견하기 위해 다중 목적의 딥 강화학습(DRL) 프레임워크를 제안한다. 높은 pIC50, 최적의 logP 및 logS, 낮은 분자량을 최적화하는 보상 함수를 사용함으로써, 이 프레임워크는 유효하고 새로운, 합성 가능성이 있는 분자를 생성한다. 이는 옹소네이드 과다 복용 치료를 위한 개선된 나로네이드 대체물질 발견을 가속화할 잠재력을 보여준다.

ABSTRACT

Naloxone, an opioid antagonist, has been widely used to save lives from opioid overdose, a leading cause for death in the opioid epidemic. However, naloxone has short brain retention ability, which limits its therapeutic efficacy. Developing better opioid antagonists is critical in combating the opioid epidemic.Instead of exhaustively searching in a huge chemical space for better opioid antagonists, we adopt reinforcement learning which allows efficient gradient-based search towards molecules with desired physicochemical and/or biological properties. Specifically, we implement a deep reinforcement learning framework to discover potential lead compounds as better opioid antagonists with enhanced brain retention ability. A customized multi-objective reward function is designed to bias the generation towards molecules with both sufficient opioid antagonistic effect and enhanced brain retention ability. Thorough evaluation demonstrates that with this framework, we are able to identify valid, novel and feasible molecules with multiple desired properties, which has high potential in drug discovery.

연구 동기 및 목표

• 나로네이드는 옹소이드 과다 복용의 1차적 해독제이지만 뇌에 대한 농축이 낮아 효능이 제한되고 반복 투여가 필요하므로 이를 해결하고자 한다.
• 화학적 스크리닝의 고갈을 피하기 위해 데이터 기반의 기울기 기반 딥 강화학습 접근법으로 더 빠른 약물 개발을 가속화하고자 한다.
• 높은 옹소이드 항작용 활성(pIC50 > 6), 향상된 혈뇌장벽 투과성(logP > 1.94, MW < 327.37), 양호한 용해도(logS > -2.67)를 동시에 확보한 리드 화합물을 식별하고자 한다.
• 중추신경계 약물 개발에 필수적인 다수의 물리화학적 및 생물학적 성질을 균형 잡는 사용자 정의가 가능한 다중 목적의 DRL 프레임워크를 개발하고자 한다.

제안 방법

• 딥 강화학습 프레임워크는 190만 개의 SMILES 문자열을 기반으로 훈련된 시퀀스 기반 생성 모델(RNN)을 통합하여 화학적으로 유효한 분자를 생성한다.
• 다중 성질 예측 모델은 각 생성된 SMILES 문자열에 대해 pIC50, logP, logS 및 분자량과 같은 핵심 약물 성질을 추정한다.
• 사용자 정의 다중 목적 보상 함수는 유효하지 않은 SMILES를 제재하고, 높은 항작용 활성, 최적의 지용성, 용해도 및 낮은 분자량을 지닌 분자를 유도한다.
• DRL 에이전트는 보상 값을 이용해 정책 기반 기울기 방법을 통해 생성 모델을 반복적으로 최적화함으로써 원하는 성질 프로필로 분자 생성을 이끌어낸다.
• 훈련는 에피소드 단위로 수행되며, 문법적 유효성, 화학적 유효성, 신규성, 유일성 지표를 통해 성능을 모니터링한다.
• 리드 화합물은 pIC50, logP, logS 및 MW에 대한 사전 정의된 임계값을 기준으로 생성 샘플에서 필터링되며, 합성 가능성을 평가하기 위해 합성 접근성(SAS) 점수가 사용된다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 나로네이드보다 뇌에 더 잘 흡수되는 새로운 옹소이드 항작용제를 광범위한 화학적 공간에서 효율적으로 탐색할 수 있는가?
• RQ2 다중 목적 보상 함수는 높은 활성, 지용성, 용해도 및 분자량과 같은 상충되는 분자 성질을 얼마나 효과적으로 균형 잡는가?
• RQ3 훈련 반복 과정에서 생성된 분자들이 높은 유효성, 높은 신규성 및 높은 유일성을 유지하는 정도는 어느 정도인가?
• RQ4 이 프레임워크는 뿌리가 깊은 합성 가능성을 지닌 분자를 생성할 수 있는가? 낮은 합성 접근성 점수로 확인할 수 있는가?
• RQ5 DRL을 통한 생성 분자와 RL 없이 생성된 분자 간의 성능을 비교했을 때, 구조적 복잡성과 실현 가능성 측면에서 어떤 차이가 있는가?

주요 결과

• 160번째 훈련 에피소드에서 DRL 프레임워크는 생성된 SMILES 문자열의 96.77%가 문법적으로 유효하고, 95.90%가 화학적으로 유효함을 달성했다.
• 프레임워크는 pIC50 > 6, logP > 1.94, logS > -2.67, MW < 327.37 조건을 만족하는 유효하고 새로운 6개의 분자를 생성하여 뇌에 대한 농축과 활성 향상을 나타냈다.
• 이들 6개의 리드 화합물은 모두 합성 접근성 점수(SAS)가 1.40에서 3.12 사이로, 실험실 합성에 매우 높은 가능성을 지녔다.
• 반면, 0번째 에피소드(RL 훈련 없음)에서는 오직 3개의 분자만 확인되었고, 모두 SAS 값이 6 이상이었으며, 이는 더 높은 합성 복잡성과 낮은 실현 가능성을 의미했다.
• DRL 프레임워크는 생성된 분자의 분포를 원하는 다중 성질 프로필 쪽으로 성공적으로 이동시켰으며, 핵심 성질에서 높은 수렴성을 유지하면서도 높은 신규성을 확보했다.
• 잘 설계된 DRL과 보상 기반 페널티 시스템은 신규 분자 생성에서 다수의 약물 개발 목표를 효과적으로 균형 잡는 데 기여함을 본 연구가 입증했다.