[논문 리뷰] Learning to Make Generalizable and Diverse Predictions for Retrosynthesis

Benson Chen, Tianxiao Shen외 2명|arXiv (Cornell University)|2019. 10. 21.

Machine Learning in Materials Science참고 문헌 26인용 수 52

한 줄 요약

이 논문은 두 가지 사전 학습 전략과 이산 혼합 모델을 통해 분자 Transformer를 확장하여 단일 단계 역합성 예측의 일반화와 다양성을 개선하고, USPTO-50k에서 상위-10 정확도를 더 높이며 더 다양한 출력 생성을 보인다.

ABSTRACT

We propose a new model for making generalizable and diverse retrosynthetic reaction predictions. Given a target compound, the task is to predict the likely chemical reactants to produce the target. This generative task can be framed as a sequence-to-sequence problem by using the SMILES representations of the molecules. Building on top of the popular Transformer architecture, we propose two novel pre-training methods that construct relevant auxiliary tasks (plausible reactions) for our problem. Furthermore, we incorporate a discrete latent variable model into the architecture to encourage the model to produce a diverse set of alternative predictions. On the 50k subset of reaction examples from the United States patent literature (USPTO-50k) benchmark dataset, our model greatly improves performance over the baseline, while also generating predictions that are more diverse.

연구 동기 및 목표

• Rare reactions에서 템플릿 없는 역합성 모델의 일반화 격차를 해결한다.
• 주어진 표적 분자에 대한 예측 반응 물질 세트의 다양성을 증가시킨다.
• 역합성 모델을 초기화하기 위해 화학적으로 의미 있는 사전 학습 task를 활용한다.
• 다양한 예측 모드를 생성하기 위한 이산 잠재 변수 혼합을 도입한다.
• USPTO-50k 및 템플릿 분할에서 개선된 정확도와 다양성을 입증한다.

제안 방법

• target SMILES를 반응물 SMILES로 매핑하는 Transformer 기반 seq2seq 모델을 사용한다.
• 랜덤 결합 파쇄 및 템플릿 기반 분해의 두 가지 화학정보학 정렬 사전 학습 스킴을 도입한다.
• 다양한 예측 모드를 생성하기 위해 반응에 대한 이산 잠재 변수 혼합을 도입한다.
• 잠재 구성 요소의 전문화를 촉진하기 위해 온라인 hard-EM으로 학습한다.
• USPTO-50k 및 템플릿 분할 데이터에서 top-10 정확도와 다양성 지표로 평가한다.

실험 결과

연구 질문

• RQ1 화학적으로 근거 있는 사전 학습이 역합성 트랜스포머의 일반화를 개선할 수 있는가?
• RQ2 ,

주요 결과

• 사전 학습(랜덤 또는 템플릿 기반)이 데이터 증강과 결합될 때 기준선 대비 정확도를 향상시킨다.
• 잠재 클래스(K)가 많을수록 일반적으로 상위-10 정확도가 높아지나 상위-1 정확도에는 트레이드오프가 존재한다.
• 혼합 모델은 예측 다양성을 증가시키며, 혼합 모델이 기본 모델보다 더 많은 고유한 반응 클래스를 예측한다.
• 템플릿 기반 방법이 실패하는 템플릿 분할에서 혼합/사전 학습 접근법은 상당한 상위-10 정확도(기준선 26.6% vs 20.6%)를 달성한다.
• 인간 평가에서 혼합 모델이 기본 모델보다 더 다양한 것으로 평가되는 경향이 있다(선호 판단 43 vs 21).
• 희귀 반응 부분집합에서 혼합 및 사전 학습은 템플릿 기반 모델이 저조한 경우 일반화 이점을 제공한다.