[논문 리뷰] Mind the Retrosynthesis Gap: Bridging the divide between Single-step and Multi-step Retrosynthesis Prediction

Alan Kai Hassen, Paula Torren-Peraire외 4명|arXiv (Cornell University)|2022. 12. 12.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 몬테카를로 트리 서치(MCTS)와 Retro*를 사용하여 단일 단계 모델—LocalRetro, MHNreact, Chemformer—을 다단계 계획 프레임워크 내에서 벤치마킹함으로써 단일 단계와 다단계 반응합성 간 격차를 메운다. 단일 단계 모델이 다단계 성능에 미치는 영향이 크다는 점을 입증하며, LocalRetro는 타겟 분자의 탐색 가능성을 +30.0% 향상시켜 80.6%로 끌어올리고, 가장 널리 사용되는 모델 대비 해결 가능한 경로 수를 3배로 증가시킨다. 이는 단일 단계 응용을 위해 개발하고 평가하는 것이 아니라 다단계 적용을 위해 특별히 고려해야 한다는 필요성을 드러낸다.

ABSTRACT

Retrosynthesis is the task of breaking down a chemical compound recursively step-by-step into molecular precursors until a set of commercially available molecules is found. Consequently, the goal is to provide a valid synthesis route for a molecule. As more single-step models develop, we see increasing accuracy in the prediction of molecular disconnections, potentially improving the creation of synthetic paths. Multi-step approaches repeatedly apply the chemical information stored in single-step retrosynthesis models. However, this connection is not reflected in contemporary research, fixing either the single-step model or the multi-step algorithm in the process. In this work, we establish a bridge between both tasks by benchmarking the performance and transfer of different single-step retrosynthesis models to the multi-step domain by leveraging two common search algorithms, Monte Carlo Tree Search and Retro*. We show that models designed for single-step retrosynthesis, when extended to multi-step, can have a tremendous impact on the route finding capabilities of current multi-step methods, improving performance by up to +30% compared to the most widely used model. Furthermore, we observe no clear link between contemporary single-step and multi-step evaluation metrics, showing that single-step models need to be developed and tested for the multi-step domain and not as an isolated task to find synthesis routes for molecules of interest.

연구 동기 및 목표

• 단일 단계 반응합성 모델의 다단계 합성 계획으로의 이행 가능성 조사.
• 단일 단계 모델 성능 지표가 다단계 탐색 가능성과 어떻게 관련되어 있는지 평가하며, 높은 단일 단계 정확도가 강력한 다단계 성능을 보장한다는 가정에 도전.
• 단일 단계 모델의 효과성에 영향을 미치는 핵심 요인—특히 추론 속도와 모델 최적화—파악.
• 단일 단계 응용을 위해 개발하고 평가하는 것보다는 다단계 적용을 위해 특별히 고려해야 한다는 주장.
• 표준화된 검색 알고리즘(MCTS 및 Retro*)을 사용하여 최첨단 단일 단계 모델의 다단계 반응합성에 대한 벤치마크 제공.

제안 방법

• 저자는 MCTS와 Retro*라는 두 가지 다단계 검색 알고리즘 내에서 최첨단 단일 단계 반응합성 모델 다섯 종류—LocalRetro, MHNreact, Chemformer, 템플릿 기반 모델, AIzynthFinder—을 평가한다.
• 단일 단계 학습 및 평가에 USPTO-50k 데이터셋을 사용하고, 동일한 모델을 다단계 반응합성 계획에 적용하여 경로 탐색 성공률를 평가한다.
• 성능은 탐색 가능성(유효한 합성 경로를 가진 타겟 분자의 비율)과 추론 시간을 기준으로 측정되며, 실질적인 다단계 계획 제약 조건을 반영하기 위해 CPU 조건에서 평가된다.
• 메트릭 일치도를 평가하기 위해 단일 단계의 top-k 정확도를 다단계 탐색 가능성과 비교하며, 두 지표 간 명확한 상관관계가 없음을 드러낸다.
• 추론 속도 분석을 위해 배치 크기가 1인 경우(일반적으로 다단계 계획에서 사용됨)의 모델 호출 시간을 측정하여, MHNreact와 같은 모델이 배치 크기가 감소할 경우 성능 저하가 심각하게 발생함을 확인한다.
• 이 연구는 단일 단계 모델을 CPU 추론과 저지연 배포를 고려해 최적화하는 것이 중요하다고 강조한다.

실험 결과

연구 질문

• RQ1 높은 top-k 정확도를 가진 단일 단계 반응합성 모델이 얼마나 다단계 탐색 가능성을 향상시키는가?
• RQ2 단일 단계 평가 지표(예: top-k 정확도)와 다단계 성능(예: 경로 탐색 가능성) 간 강한 상관관계가 있는가?
• RQ3 단일 단계 모델의 추론 속도와 배치 처리 효율성이 다단계 반응합성 계획에서 성능에 어떻게 영향을 미치는가?
• RQ4 최첨단 단일 단계 모델이 MCTS 및 Retro*와 같은 검색 알고리즘에 통합될 경우 다단계 경로 탐색 성능을 크게 향상시킬 수 있는가?
• RQ5 단일 단계 모델을 다단계 계획으로 이행할 때의 주요 병목 현상은 무엇이며, 이를 어떻게 해결할 수 있는가?

주요 결과

• 가장 뛰어난 성능을 보인 단일 단계 모델인 LocalRetro는 가장 널리 사용되는 모델 대비 다단계 탐색 가능성을 +30.0% 향상시켜 80.6%로 끌어올리며, 경로 탐색 성능 향상이 뚜렷하다.
• 단일 단계의 top-k 정확도와 다단계 탐색 가능성 간 명확한 상관관계가 없음을 발견하여, 높은 단일 단계 정확도가 강력한 다단계 성능을 보장하지는 않음을 시사한다.
• MHNreact와 Chemformer는 높은 단일 단계 정확도를 보였지만, 배치 크기가 1인 경우 느린 추론 시간으로 인해 다단계 계획에서 성능이 열등하여 지연 시간이 검색 효율성에 미치는 영향을 확인한다.
• GPU 추론과 대규모 배치 처리를 위해 최적화된 단일 단계 모델은 다단계 계획에서 일반적으로 CPU에서 단일 샘플 추론을 수행하는 환경과 맞지 않아 심각한 부적합성이 발생함을 드러내며, 배포 조건 간의 근본적인 불일치를 확인한다.
• LocalRetro를 사용할 경우 기준 모델 대비 해결 가능한 경로 수가 3배로 증가하여, 모델 선택이 다단계 계획 결과에 미치는 변혁적 영향을 입증한다.
• 결과적으로 단일 단계 모델는 고립된 단일 단계 평가로는 실제 합성 계획 성공률를 예측하기에 부족하며, 다단계 적용을 고려해 개발하고 평가되어야 한다는 점을 강조한다.