[논문 리뷰] Guiding Deep Molecular Optimization with Genetic Exploration

Sungsoo Ahn, Junsu Kim외 2명|arXiv (Cornell University)|2020. 07. 04.

Computational Drug Discovery Methods참고 문헌 69인용 수 26

한 줄 요약

이 논문은 도메인 특화된 유전적 연산자(변형 및 교잡)를 유사 학습을 위한 감독 신호로 통합함으로써 분자 생성을 향상시키는 새로운 딥러닝 프레임워크인 유전적 전문가 유도 학습(GEGL)을 제안한다. 유전적 탐색을 통해 생성된 고성능 분자를 모방하도록 신경망을 훈련시킴으로써 GEGL는 최신 기술 수준(SOTA) 성능을 달성하며, 벌크 로그P 점수 31.40을 기록하여 이전 방법들보다 뚜렷한 격차를 확보하고, GuacaMol 벤치마크에서 세 가지 과제에서 완벽한 점수를 달성한다.

ABSTRACT

De novo molecular design attempts to search over the chemical space for molecules with the desired property. Recently, deep learning has gained considerable attention as a promising approach to solve the problem. In this paper, we propose genetic expert-guided learning (GEGL), a simple yet novel framework for training a deep neural network (DNN) to generate highly-rewarding molecules. Our main idea is to design a "genetic expert improvement" procedure, which generates high-quality targets for imitation learning of the DNN. Extensive experiments show that GEGL significantly improves over state-of-the-art methods. For example, GEGL manages to solve the penalized octanol-water partition coefficient optimization with a score of 31.40, while the best-known score in the literature is 27.22. Besides, for the GuacaMol benchmark with 20 tasks, our method achieves the highest score for 19 tasks, in comparison with state-of-the-art methods, and newly obtains the perfect score for three tasks.

연구 동기 및 목표

• 새로운 분자 설계에서 광범위한 화학적 공간을 효율적으로 탐색하는 데 도전 과제를 해결하기 위해.
• 개선된 분자 최적화를 위해 도메인 특화된 유전적 연산자를 딥 네트워크 훈련에 통합하기 위해.
• 전문가가 생성한 고보상 분자를 활용하여 샘플 복잡도를 감소시키기 위해.
• 구조적이고 지식 기반의 탐색을 통해 딥 생성 모델의 성능을 향상시키기 위해.

제안 방법

• DNN가 생성한 분자에 변형 및 교잡을 적용하여 고품질, 고보상 후보를 생성하는 유전적 전문가 정책을 도입한다.
• 유사 학습을 통해 전문가 정책의 고성능 분자를 모방하도록 DNN를 후계자 정책으로 훈련시킨다.
• 최대 보상 우선순위 큐를 사용하여 가장 보상이 높은 분자를 저장하고 유지하여 훈련 중 치명적인 기억 상실을 방지한다.
• 보상이 원하는 분자 성질 점수인 강화 학습 문제로 생성 과정을 공식화한다.
• DNN가 생성한 분자에 유전적 연산자를 적용하여 다양하고 화학적으로 타당한 후보를 생성하고 성질 점수를 향상시킨다.
• 전문가 정책의 출력을 훈련 루프에 통합하여 후계자 정책의 생성 능력을 반복적으로 개선한다.

실험 결과

연구 질문

• RQ1 유전적 연산자가 분자 생성에서 딥 네트워크 훈련을 유도하는 데 효과적으로 활용될 수 있는가?
• RQ2 전문가 유도 탐색과 유사 학습을 조합함으로써 새로운 분자 설계에서 샘플 효율성과 성능이 어떻게 향상되는가?
• RQ3 DNN가 유사 학습을 통해 유전적 전문가 정책의 성능을 어느 정도 재현할 수 있는가?
• RQ4 유전적 연산자를 통한 도메인 특화 지식 통합이 분자 최적화에서 순수 엔드 투 엔드 딥 러닝 접근법보다 우월한가?
• RQ5 제안된 프레임워크는 복잡한 제약 조건을 가진 다양한 분자 설계 과제에 일반화될 수 있는가?

주요 결과

• GEGL는 벌크 올리톨-물 분배 계수 점수를 31.40으로 기록하여 이전 최고 방법(27.22)보다 뚜렷이 뛰어나다.
• GuacaMol 벤치마크에서 GEGL는 20개 과제 중 19개에서 최고 점수를 기록하였으며, 세 가지 신규 완벽 점수를 달성하였다.
• 절단 실험 결과에 따르면, DNN 후계자 정책과 유전적 전문가 정책 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 저하된다.
• 초기 훈련 단계에서 전문가 정책의 우선순위 큐($\mathcal{Q}_{\mathtt{ex}}$)가 후계자 정책의 큐($\mathcal{Q}$)보다 항상 더 높은 품질의 분자를 생성한다.
• 시간이 지남에 따라 후계자 정책은 전문가 정책의 성능을 초월하게 되어 효과적인 지식 전이가 이루어졌음을 시사한다.
• 최대 보상 우선순위 큐의 사용은 훈련 반복 동안 샘플 효율성과 성능 유지에 크게 기여한다.