[논문 리뷰] Towards "AlphaChem": Chemical Synthesis Planning with Tree Search and Deep Neural Network Policies

Marwin Segler, Mike Preuß외 1명|arXiv (Cornell University)|2017. 01. 31.

Machine Learning in Materials Science참고 문헌 7인용 수 15

한 줄 요약

이 논문은 유기화학에서의 역합성 계획을 자동화하기 위해 몬테카를로 트리 탐색(MCTS)과 딥 네ural 네트워크 정책을 결합한 딥 강화학습 프레임워크인 AlphaChem을 제안한다. 역합성을 마코프 결정 과정(MDP)으로 모델링하고, 1,700만 개의 반응으로 훈련된 신경망을 사용해 MCTS를 안내함으로써, 2시간 이내에 합성 경로를 찾는 데 95%의 성공률를 달성하였으며, 기존의 최상의 히우리스틱 기반 방법을 뛰어넘었다.

ABSTRACT

Retrosynthesis is a technique to plan the chemical synthesis of organic molecules, for example drugs, agro- and fine chemicals. In retrosynthesis, a search tree is built by analysing molecules recursively and dissecting them into simpler molecular building blocks until one obtains a set of known building blocks. The search space is intractably large, and it is difficult to determine the value of retrosynthetic positions. Here, we propose to model retrosynthesis as a Markov Decision Process. In combination with a Deep Neural Network policy learned from essentially the complete published knowledge of chemistry, Monte Carlo Tree Search (MCTS) can be used to evaluate positions. In exploratory studies, we demonstrate that MCTS with neural network policies outperforms the traditionally used best-first search with hand-coded heuristics.

연구 동기 및 목표

• 기존 전문가 시스템의 제한된 탐색 공간과 높은 분기 계수 문제를 해결하기 위해.
• 역합성에서 효과적인 가치 함수 근사가 부족하여 잘린 탐색이 불가능한 문제를 해결하기 위해.
• 완전한 공개된 화학 문헌에서 학습하여 화학적으로 직관적인 '마스터 무브'를 자동으로 학습하기 위해.
• 몬테카를로 트리 탐색과 신경 정책 네트워크를 통합하여 합성 계획의 탐색 효율성과 해의 품질을 향상시키기 위해.
• 딥 러닝과 트리 탐색이 실제 화학 합성 계획에서 수작업으로 설계된 히우리스틱보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• 상태를 분자의 집합, 행동을 역합성 변환으로 정의하여 역합성을 마코프 결정 과정(MDP)으로 모델링한다.
• 분자를 레이블이 부여된 그래프로 표현하고, 역합성 규칙을 그래프 생성 규칙으로 정의한다.
• 모든 가능한 변환에 대한 확률 분포를 예측하기 위해 ELU 활성화 함수와 소프트맥스 출력을 사용한 딥 하이웨이 네트워크를 훈련한다 (정책 네트워크).
• 정책 네트워크를 사용해 MCTS를 안내한다: 높은 정책 확률을 가진 행동을 선택하고, 상위 50개의 가장 유망한 행동만 확장하며, 샘플된 행동을 사용해 롤아웃을 수행한다.
• 정책 확률과 방문 수를 사용해 탐색과 이용의 균형을 이루는 수정된 UCT 공식을 사용해 트리 선택을 수행한다.
• 정적 전이 함수를 사용하고, 모든 분자가 알려진 구조 블록일 경우 보상 +1, 해결되지 않은 종료 상태일 경우 -1, 그 외에는 0을 부여한다.

실험 결과

연구 질문

• RQ1 완전한 공개된 화학 문헌으로 훈련된 딥 네럴 네트워크가 수작업으로 설계된 히우리스틱보다 더 효과적으로 고품질의 역합성 변환을 예측할 수 있는가?
• RQ2 학습된 신경 정책를 갖춘 몬테카를로 트리 탐색이 역합성 계획에서 탐색 공간을 크게 줄이고 해의 품질을 향상시킬 수 있는가?
• RQ3 MCTS와 딥 네럴 정책를 통합한 접근이 전통적인 최적 우선 탐색(BFS)과 전문가 히우리스틱을 사용한 경우보다 성공률 및 계산 효율성 측면에서 뛰어나게 되는가?
• RQ4 신경 정책가 규칙 적용에 필요한 부분 그래프 동형성 문제를 근사함으로써, 고비용의 NP-완전 검사 수를 줄일 수 있는가?
• RQ5 이 프레임워크는 실제 약물 유사 분자에 스케일업되어 합리적인 시간 예산 내에 실용적인 합성 경로를 제공할 수 있는가?

주요 결과

• 딥 네럴 네트워크 정책를 갖춘 MCTS는 2시간 이내에 테스트용 40개 분자 중 95%를 해결했으며, 수작업 히우리스틱을 사용한 베이스라인 최적 우선 탐색(BFS)의 22.5%보다 뚜렷이 뛰어났다.
• MCTS+DNN 접근법은 분자당 평균 해결 시간이 68초였고, 더 빠르지만 정확도가 낮은 BFS+DNN 방법의 29초보다 느렸다.
• 딥 네럴 네트워크 정책는 변환 예측 작업에서 상위 1개 정확도 62%와 상위 50개 정확도 98%를 달성하여 탐색 공간의 효과적 프루닝이 가능했다.
• 상태당 상위 50개 행동만 확장함으로써, 부분 그래프 동형성 검사 수를 약 17,370개에서 50개로 줄여 계산 효율을 크게 향상시켰다.
• 딥 네럴 네트워크 정책를 갖춘 BFS는 타겟의 87.5%를 해결했고 MCTS+DNN보다 두 배 빠르지만, MCTS+DNN는 더 높은 해결 커버리지와 더 나은 확장성 확보했다.
• 결과적으로 딥 러닝과 MCTS를 통합함으로써 복잡한 역합성 트리의 효과적인 탐색이 가능해졌으며, 자동 합성 계획을 햖थ한 데 유망한 길을 제시했다.