[논문 리뷰] Multimodal Transformer-based Model for Buchwald-Hartwig and Suzuki-Miyaura Reaction Yield Prediction

Shimaa Baraka, Ahmed M. El Kerdawy|arXiv (Cornell University)|2022. 04. 27.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 Buchwald–Hartwig 및 Suzuki–Miyaura 교차결합 반응의 수율을 예측하기 위해 SMILES 표현과 화합물 기술자를 융합하는 다중모odal Transformer 기반 모델을 제안한다. SMILES에 대해 미세조정된 BERT 인코더와 기술자에 대해 다층 퍼셉트론을 사용한 융합 구조를 통해, Buchwald–Hartwig 데이터에서 RMSE 5.5와 R² 0.959의 최신 기술 수준 성능를 달성하였으며, 실험적으로 보고된 최대 수율의 94%에 도달하는 근사 최적의 반응 조건을 성공적으로 제안하였다.

ABSTRACT

Predicting the yield percentage of a chemical reaction is useful in many aspects such as reducing wet-lab experimentation by giving the priority to the reactions with a high predicted yield. In this work we investigated the use of multiple type inputs to predict chemical reaction yield. We used simplified molecular-input line-entry system (SMILES) as well as calculated chemical descriptors as model inputs. The model consists of a pre-trained bidirectional transformer-based encoder (BERT) and a multi-layer perceptron (MLP) with a regression head to predict the yield. We experimented on two high throughput experimentation (HTE) datasets for Buchwald-Hartwig and Suzuki-Miyaura reactions. The experiments show improvements in the prediction on both datasets compared to systems using only SMILES or chemical descriptors as input. We also tested the model's performance on out-of-sample dataset splits of Buchwald-Hartwig and achieved comparable results with the state-of-the-art. In addition to predicting the yield, we demonstrated the model's ability to suggest the optimum (highest yield) reaction conditions. The model was able to suggest conditions that achieves 94% of the optimum reported yields. This proves the model to be useful in achieving the best results in the wet lab without expensive experimentation.

연구 동기 및 목표

• 단일 모odal 접근 방식을 초월하여 SMILES와 화합물 기술자와 같은 다중 데이터 모달리티를 통합함으로써 반응 수율 예측 성능을 향상시키기.
• 특히 분포 이탈 상황에서의 일반화 능력을 갖춘 딥 러닝 모델 개발.
• 비용이 많이 들는 실험적 시험을 거치지 않고도 고수율을 달성할 수 있는 최적의 반응 조건을 제안할 수 있도록 하기.
• Buchwald–Hartwig 및 Suzuki–Miyaura와 같은 두 가지 핵심 교차결합 반응에 대해 고속도 실험(HTE) 데이터셋을 기반으로 성능 평가하기.

제안 방법

• 모델는 반응물의 구조적 표현을 학습하기 위해 SMILES 문자열에 대해 미세조정된 양방향 Transformer 인코더(BERT)를 사용한다.
• 화합물 기술자는 다층 퍼셉트론(MLP)을 통해 전자적 및 공간적 특성과 같은 분자 특성을 인코딩한다.
• SMILES 및 기술자 브랜치의 출력은 연결되어 회귀 헤드를 통해 반응 수율을 예측한다.
• 모델는 Buchwald–Hartwig에 대해 3,955개 데이터 포인트, Suzuki–Miyaura에 대해 5,760개 데이터 포인트를 포함하는 두 개의 HTE 데이터셋에서 엔드 투 엔드로 훈련되며, 훈련/테스트 분할 비율은 70/30이다.
• 하이퍼파ram터 최적화는 첫 번째 폴드의 훈련 세트의 1/7을 대상으로 수행되었으며, 공정한 비교를 위해 이전 연구의 방법을 따르였다.
• 모델의 최적 조건 제안 능력은 상위-k 예측된 조건을 실험적으로 보고된 최고 수율과 비교하여 평가되었다.

실험 결과

연구 질문

• RQ1 SMILES와 화합물 기술자를 융합하는 것이 단일 모달리티 모델보다 수율 예측 정확도를 향상시키는가?
• RQ2 특히 첨가제나 리간드의 분포 이탈 상황에서, 다중모달 모델의 일반화 능력은 얼마나 우수한가?
• RQ3 실험적으로 보고된 최적 수율에 근접하는 수율을 달성할 수 있는 반응 조건을 얼마나 잘 제안할 수 있는가?
• RQ4 분포 이탈이 발생하는 상황에서도 최신 기술 수준의 모델과 경쟁 가능한 성능를 유지하는가?

주요 결과

• 다중모달 모델은 Buchwald–Hartwig 데이터셋에서 RMSE 5.5 ± 0.3과 R² 0.959 ± 0.005를 달성하였으며, 단일 모달리티 모델보다 뛰어난 성능를 보였다.
• Suzuki–Miyaura 데이터셋에서는 RMSE 11.5 ± 0.3과 R² 0.833 ± 0.01을 기록하여 단일 모달리티 기반 모델보다 일관된 개선을 보였다.
• 훈련 데이터에 포함되지 않은 이소옥사졸 유도체를 포함한 외부 샘플 테스트 세트에서 Buchwald–Hartwig의 평균 R²는 0.72였으며, 최신 기술 수준과 유사한 성능를 보였다.
• 15개의 반응물 조합에 대해 평균 수율 0.82를 달성하여 보고된 최적 수율(0.87)의 94%에 도달하였으며, 이는 최적 조건을 효과적으로 제안함을 의미한다.
• 상위-k 예측 조건 중 진짜 최적 조건이 포함된 비율은 상위 30%의 예측에서 86.6%에 달하여 실용적 유용성이 높음을 시사한다.
• Suzuki–Miyaura에서 테스트 세트의 리간드가 훈련 세트와 완전히 이질적인 경우 성능이 크게 저하되었으며(R² = 0.2 ± 0.25), 분포 이탈에 더 민감한 것으로 나타났다.