[논문 리뷰] Predicting retrosynthetic pathways using a combined linguistic model and hyper-graph exploration strategy

Philippe Schwaller, Riccardo Petraglia외 7명|arXiv (Cornell University)|2019. 10. 17.

Machine Learning in Materials Science인용 수 10

한 줄 요약

이 논문은 트랜스포머 기반 분자 언어 모델과 초그래프 탐색 전략을 결합한 새로운 역합성 계획 프레임워크를 제안한다. 전방 예측 가능성과 분자 단순성 점수를 활용하여, 단일 단계 역합성 예측에서 최신 기술 수준(SOTA) 성능을 달성하고, 베이지안 기반 점수와 비드 서치 탐색을 통해 최적의 경로를 식별한다.

ABSTRACT

We present an extension of our Molecular Transformer architecture combined with a hyper-graph exploration strategy for automatic retrosynthesis route planning without human intervention. The single-step retrosynthetic model sets a new state of the art for predicting reactants as well as reagents, solvents and catalysts for each retrosynthetic step. We introduce new metrics (coverage, class diversity, round-trip accuracy and Jensen-Shannon divergence) to evaluate the single-step retrosynthetic models, using the forward prediction and a reaction classification model always based on the transformer architecture. The hypergraph is constructed on the fly, and the nodes are filtered and further expanded based on a Bayesian-like probability. We critically assessed the end-to-end framework with several retrosynthesis examples from literature and academic exams. Overall, the frameworks has a very good performance with few weaknesses due to the bias induced during the training process. The use of the newly introduced metrics opens up the possibility to optimize entire retrosynthetic frameworks through focusing on the performance of the single-step model only.

연구 동기 및 목표

• 인간의 간섭 없이 종단 간 전처리 역합성 계획 시스템을 개발하기 위해.
• 수동으로 정의된 규칙에 의존하는 대신 데이터에서 학습함으로써 규칙 기반 시스템을 개선하기 위해.
• 기존 AI 모델이 노이즈가 많은 데이터와 잘못된 반응 예측을 다루는 데에 한계가 있음을 해결하기 위해.
• 전체 역합성 프레임워크 최적화를 위해 단일 단계 성능에 중점을 둔 새로운 평가 지표를 도입하기 위해.
• 비드 서치와 초그래프 자르기 기반으로 계산 비용을 줄이며 확장 가능한 데이터 기반 역합성 계획을 실현하기 위해.

제안 방법

• 목표 분자를 입력으로 받아 반응물, 시약, 용매, 촉매를 예측하는 데 사용되는 분자 트랜스포머 아키텍처를 사용하며, 이를 순서에서 순서로 번역 작업으로 간주한다.
• 노드는 분자를 나타내고, 초화살표는 반응물에서 산물으로 연결되는 역합성 반응을 나타내는 실시간 초그래프를 구성한다.
• 베이지안 기반 점수 함수를 적용한다: $ S(\text{C} \Rightarrow \text{A}+\text{B}) = P(\text{A}+\text{B} \rightarrow \text{C}) \cdot \frac{s(\text{A}) \cdot s(\text{B})}{s(\text{C})} $, 여기서 $ P $ 는 전방 예측 가능성이고 $ s $ 는 SCScore 기반 단순성 점수이다.
• 계산 비용을 줄이기 위해 매 확장 단계에서 상위 점수를 가진 경로만 유지하는 비드 서치를 적용한다.
• 중복을 줄이고 전방 예측 신뢰도가 높은 경로를 우선순위로 정하기 위해 전구체 집합을 필터링하고 군집화한다.
• 모든 전구체가 상업적으로 이용 가능하거나 최대 단계 수에 도달하거나 사이클이 감지될 경우 경로를 종료한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델은 잘못된 출력을 최소화하면서도 단일 단계 역합성 예측에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ2 베이지안 기반 점수 함수는 최적의 합성 경로로 향하는 초그래프 탐색을 얼마나 효과적으로 이끌 수 있는가?
• RQ3 새로운 평가 지표(커버리지, 클래스 다양성, 순환 정확도, 젠슨-섀논 발산)가 전체 역합성 프레임워크의 성능을 얼마나 잘 반영하고 개선할 수 있는가?
• RQ4 자르기와 군집화를 적용한 비드 서치는 복잡성을 어떻게 줄이며 동시에 고품질 경로를 유지할 수 있는가?
• RQ5 시스템의 주요 실패 원인은 무엇이며, 훈련 데이터 편향에 의해 어떻게 영향을 받는가?

주요 결과

• 단일 단계 역합성 모델은 반응물, 시약, 용매, 촉매 예측에서 최신 기술 수준 성능을 달성하였으며, 잘못된 후보 생성 비율이 크게 감소하였다.
• 커버리지, 클래스 다양성, 순환 정확도, 젠슨-섀논 발산 등의 새로운 평가 지표 도입으로 단일 단계 모델의 최적화가 가능해져 종단 간 성능 향상에 기여하였다.
• 베이지안 기반 점수로 유도된 초그래프 탐색 전략은 더 단순한 전구체로 이어지는 경로를 효과적으로 우선순위로 정렬하여 경로 효율성을 향상시켰다.
• 자르기와 군집화를 적용한 비드 서치는 복잡한 경우에도 트리의 복잡성을 줄이며 고품질 경로 탐색을 유지하였다.
• 문헌 및 학술적 역합성 문제에 대해 뛰어난 성능을 보였으며, 훈련 데이터 편향으로 인한 미세한 결함 외에는 거의 문제가 없었다.
• 확장 과정 중 사이클 탐지가 비생산적인 경로를 효과적으로 종료하여 무한 루프를 방지하고 계산 안정성을 향상시켰다.