[논문 리뷰] Retrosynthesis prediction enhanced by in-silico reaction data augmentation

Xu Zhang, Yiming Mo외 2명|arXiv (Cornell University)|2024. 01. 31.

Genomics and Phylogenetic Studies인용 수 4

한 줄 요약

이 논문은 실제 쌍화합물 데이터로 훈련된 기본 모델을 사용해 쌍이 없는 분자 데이터에서 시뮬레이션 반응 데이터를 생성함으로써 역합성 예측을 향상시키는 자기 강화 프레임워크인 RetroWISE를 소개한다. 반복적으로 고품질의 합성 반응을 생성하고 모델을 미세조정함으로써, RetroWISE는 USPTO-50K 데이터셋에서 상위 1위 정확도를 8.6% 향상시키며 최신 기술 수준을 달성했으며, 희귀 전환 예측 능력도 일관되게 향상시켰다.

ABSTRACT

Recent advances in machine learning (ML) have expedited retrosynthesis research by assisting chemists to design experiments more efficiently. However, all ML-based methods consume substantial amounts of paired training data (i.e., chemical reaction: product-reactant(s) pair), which is costly to obtain. Moreover, companies view reaction data as a valuable asset and restrict the accessibility to researchers. These issues prevent the creation of more powerful retrosynthesis models due to their data-driven nature. As a response, we exploit easy-to-access unpaired data (i.e., one component of product-reactant(s) pair) for generating in-silico paired data to facilitate model training. Specifically, we present RetroWISE, a self-boosting framework that employs a base model inferred from real paired data to perform in-silico reaction generation and augmentation using unpaired data, ultimately leading to a superior model. On three benchmark datasets, RetroWISE achieves the best overall performance against state-of-the-art models (e.g., +8.6% top-1 accuracy on the USPTO-50K test dataset). Moreover, it consistently improves the prediction accuracy of rare transformations. These results show that Retro- WISE overcomes the training bottleneck by in-silico reactions, thereby paving the way toward more effective ML-based retrosynthesis models.

연구 동기 및 목표

• 역합성 모델링에서 고품질의 쌍화합물 데이터(제품-반응물 쌍)의 부족성과 접근성 문제를 해결하기 위해.
• 기계학습 기반의 역합성 예측에서 데이터 기반 제약을 극복하기 위해, 쉽게 확보할 수 있는 쌍이 없는 데이터(예: 분리된 제품 또는 반응물)에서 시뮬레이션 반응 데이터를 생성하기 위해.
• 생성된 반응을 다시 훈련에 활용함으로써 모델 성능을 반복적으로 향상시키는 자기 강화 프레임워크를 개발하기 위해.
• 특히 기존 데이터셋에 부족하게 포함된 희귀 또는 저빈도 전환 유형에 대해 예측 정확도를 향상시키기 위해.
• 실제 다단계 역합성 계획 수립에 적용 가능한 실용성과 확장성을 확보하기 위해 계산 효율성을 향상시키기 위해.

제안 방법

• 기본 모델이 실제 쌍화합물 반응 데이터(예: USPTO)를 기반으로 훈련되어 제품에서 반응물을 예측하도록 한다.
• 훈련된 기본 모델이 공개 자료나 웹 스크래핑을 통해 확보한 쌍이 없는 데이터(예: 분리된 제품 또는 반응물)에서 시뮬레이션 반응 쌍을 생성한다.
• 생성된 시뮬레이션 반응 데이터를 원본 훈련 데이터에 증강하여, 더 강력하고 일반화 능력이 뛰어난 역합성 예측 모델을 재훈련한다.
• 반복적 훈련을 적용함: 새로운 모델이 더 고품질의 합성 반응을 생성하고, 이를 다시 사용해 모델를 향상시키는 자기 강화 루프를 구현한다.
• ~4450만 개의 파rameter를 가진 트랜스포머 기반 아키텍처를 사용하며, 추론 시 계산 및 메모리 효율성을 최적화한다.
• 제품과 반응물 표현 간의 정렬을 향상시키기 위해 루트 기반 SMILES(R-SMILES)를 활용한 SMILES 증강을 적용하여, 순서 생성 시의 일대다 모호성 문제를 감소시킨다.

실험 결과

연구 질문

• RQ1 실제 쌍화합물 데이터가 제한된 상황에서 시뮬레이션 반응 데이터 증강이 기계학습 기반의 역합성 예측 모델 성능을 크게 향상시킬 수 있는가?
• RQ2 반복적으로 합성 반응을 생성하고 재훈련하는 자기 강화 프레임워크가 기존 최신 기술 수준의 모델을 초월할 수 있는가?
• RQ3 제안된 방법이 기존 훈련 데이터에 부족하게 포함된 희귀 또는 저빈도 전환 유형에 대해 예측 정확도를 향상시키는가?
• RQ4 쌍이 없는 데이터(예: 분리된 제품 또는 반응물)를 사용할 경우, 전통적인 쌍화합물 데이터 대비 모델의 일반화 능력과 효율성에서 어떤 차이가 있는가?
• RQ5 합성 데이터 생성을 통한 반복적 모델 정밀 조정이 예측 품질과 견고성 향상에 얼마나 기여하는가?

주요 결과

• RetroWISE는 USPTO-50K 테스트 세트에서 상위 1위 정확도 95.1%를 기록하여 기준 모델 대비 8.6% 향상시켰다.
• 희귀 전환에 대해 일관되게 정확도가 향상되어, 저빈도 반응 유형에 대한 일반화 능력이 향상됨을 입증했다.
• 50회의 반복 훈련을 통해 상위 1위 정확도가 1.1% 향상(95.1% → 96.1%)되었으며, 자기 강화 정밀 조정의 효과를 입증했다.
• 프레임워크는 높은 계산 효율성을 유지하였으며, 단일 GPU를 사용할 경우 USPTO-50K에서 제품당 추론 시간은 8.03 ms에서 115.07 ms 사이였다.
• 이전의 트랜스포머 기반 방법(4450만 파라미터 대비 7540만 파라미터)보다 더 경량화되어 쉽게 배포가 가능했다.
• 높은 분자 유사도(Tc ≥ 0.95)에도 불구하고 일부 예측에서 오류가 발생했으며, 예를 들어 잘못된 입체화학 또는 불필요한 시약이 포함된 경우가 있었고, 이는 모델 일반화 능력 향상에 여전히 도전 과제가 있음을 시사했다.