[논문 리뷰] Models Matter: The Impact of Single-Step Retrosynthesis on Synthesis Planning

Paula Torren-Peraire, Alan Kai Hassen외 5명|arXiv (Cornell University)|2023. 08. 10.

Computational Drug Discovery Methods인용 수 6

한 줄 요약

이 연구는 최신의 단단계 역합성 모델들을 다단계 합성 계획 프레임워크에 통합하여, 모델 선택이 경로 탐색 성공률에 상당한 영향을 미친다는 것을 입증한다—최대 28% 향상—동시에 단단계 성능과 실제 계획 효율성 간의 핵심 괴리가 있음을 드러낸다. 이 연구는 USPTO-50k 기준의 타당성을 의심하며, 향후 모델 개발을 이끄는 데 있어 전체 합성 계획 파이프라인 내에서의 평가를 주장한다.

ABSTRACT

Retrosynthesis consists of breaking down a chemical compound recursively step-by-step into molecular precursors until a set of commercially available molecules is found with the goal to provide a synthesis route. Its two primary research directions, single-step retrosynthesis prediction, which models the chemical reaction logic, and multi-step synthesis planning, which tries to find the correct sequence of reactions, are inherently intertwined. Still, this connection is not reflected in contemporary research. In this work, we combine these two major research directions by applying multiple single-step retrosynthesis models within multi-step synthesis planning and analyzing their impact using public and proprietary reaction data. We find a disconnection between high single-step performance and potential route-finding success, suggesting that single-step models must be evaluated within synthesis planning in the future. Furthermore, we show that the commonly used single-step retrosynthesis benchmark dataset USPTO-50k is insufficient as this evaluation task does not represent model performance and scalability on larger and more diverse datasets. For multi-step synthesis planning, we show that the choice of the single-step model can improve the overall success rate of synthesis planning by up to +28% compared to the commonly used baseline model. Finally, we show that each single-step model finds unique synthesis routes, and differs in aspects such as route-finding success, the number of found synthesis routes, and chemical validity, making the combination of single-step retrosynthesis prediction and multi-step synthesis planning a crucial aspect when developing future methods.

연구 동기 및 목표

• 단단계 역합성 모델의 선택이 다단계 합성 계획 성능에 미치는 영향을 조사하는 것.
• 높은 성능을 보이는 단단계 모델이 실제 세계의 대규모 합성 계획 작업으로 일반화되는지 평가하는 것.
• USPTO-50k 기준이 실제 세계의 확장성과 성능 이행 가능성의 특성을 반영하지 못하는 한계를 평가하는 것.
• 합성 계획에서 모델 성능, 추론 속도, 경로 다양성 간의 상호 상충 관계를 규명하는 것.
• 대표적인 부분 샘플을 사용하여 다단계 계획 환경 내에서 단단계 모델을 평가하는 프레임워크를 제공하는 것.

제안 방법

• 연구는 최신의 단단계 역합성 모델들—NeuralSym, LocalRetro, MHNreact, Chemformer, 그리고 기준 모델인 AZF—을 다단계 합성 계획 프레임워크에 통합한다.
• 합성 계획 성공률, 경로 다양성, 화학적 타당성을 지표로 하여, 공개 데이터셋(USPTO-50k, Caspyrus10k)과 기업 내부 반응 데이터셋에서의 모델 성능을 평가한다.
• Caspyrus10k 데이터셋에 대해 부분 샘플링 전략을 적용하여, 빠른 벤치마킹과 낮은 분산을 가능하게 하기 위해 1000개 분자의 대표 부분집합을 테스트한다.
• 모델 간의 경로 탐색 성공률, 생성된 유효 경로 수, 추론 시간, 기준 경로로부터의 이탈 정도를 분석하여 비교한다.
• 표준화된 합성 계획 파이프라인을 사용하여 빔 서치와 화학적 타당성 필터링을 적용하여 공정한 비교를 보장한다.
• SMILES 표현을 활용하고, 템플릿 기반 및 템플릿 비기반 접근 방식을 모두 평가하여 성능와 속도 간의 상충 관계를 분석한다.

Figure 1: Evaluation Framework for single-step models (AiZynthFinder (AZF), LocalRetro, Chemformer, and MHNreact), trained on different public (USPTO-50k, USPTO-PaRoutes-1M) and proprietary (AZ-1M, AZ-18M) datasets in synthesis planning on Caspyrus10k and PaRoutes.

실험 결과

연구 질문

• RQ1 USPTO-50k와 같은 작은 기준에서 높은 단단계 역합성 성능이 다단계 합성 계획에서의 성공률과 상관관계가 있는가?
• RQ2 다단계 계획에서 사용될 때, 템플릿 기반 모델과 템플릿 비기반 모델 간의 경로 탐색 성공률, 속도, 다양성 측면에서의 성능 비교는 어떻게 되는가?
• RQ3 USPTO-50k 데이터셋이 실제 세계의 확장성과 성능 이행 가능성의 특성을 얼마나 잘 반영하고 있는가?
• RQ4 단단계 모델의 선택이 전체 합성 계획 성공률을 상당히 향상시킬 수 있으며, 만약 그렇다면 얼마나 향상되는가?
• RQ5 다른 단단계 모델들이 고유하고 화학적으로 타당한 합성 경로를 생성하는가, 그리고 주요 성능 차원에서 어떻게 다를까?

주요 결과

• 동일한 반응 데이터로 훈련된 경우에도, 단단계 역합성 모델의 선택으로 인해 다단계 합성 계획 성공률이 기준 모델 대비 최대 28% 향상될 수 있다.
• USPTO-50k에서의 높은 단단계 성능과 다단계 계획에서의 경로 탐색 성공률 간에 직접적인 상관관계가 없으며, 평가 철학 간의 핵심 괴리가 있음을 시사한다.
• USPTO-50k 기준은 실제 세계의 확장성과 이행 가능성 평가에 부적합하며, USPTO-PaRoutes-1M 또는 Caspyrus10k와 같은 더 큰, 더 다양한 반응 데이터셋에서는 성능 순위와 모델 행동이 일반화되지 않는다.
• 템플릿 비기반 모델인 Chemformer는 대규모 이질적 데이터에서 뛰어난 단단계 성능을 보이지만, 다단계 계획에서는 200배 느린 반면, 템플릿 기반 모델인 LocalRetro는 속도, 성공률, 경로 다양성 측면에서 균형 잡힌 성능을 제공한다.
• 각 단단계 모델은 성공률, 유효 경로 수, 추론 시간, 화학적 타당성에서 상이한 경로를 생성하며, 계획에서의 모델 선택의 중요성을 강조한다.
• Caspyrus10k에서 1000개 분자의 대표 부분집합은 전체 데이터셋 결과를 안정적으로 근사하며, 성공률 표준편차가 0.05 이하로 낮은 분산을 보여 빠른 벤치마킹이 가능하다.

Figure 2: Single-step Retrosynthesis Prediction Performance in terms of top-n accuracy for AZF, LocalRetro, Chemformer, and MHNreact on different datasets (USPTO-50k, USPTO-PaRoutes-1M, AZ-1M, AZ-18M) (see Supplementary Table S1 ).