[논문 리뷰] Linking the Neural Machine Translation and the Prediction of Organic Chemistry Reactions

Juno Nam, Jurae Kim|arXiv (Cornell University)|2016. 12. 29.

Topic Modeling참고 문헌 6인용 수 122

한 줄 요약

이 논문은 반응물 생성 예측을 신경 기계 번역으로 다루며, SMILES 토크나이저와 주의(attention)를 갖춘 게이트 순환 신경망 GRU 기반 시퀀스-투-시퀀스 모델을 사용해 반응물과 시약을 생성물로 번역하고, 특허 반응과 Wade 교과서 반응으로 학습된다.

ABSTRACT

Finding the main product of a chemical reaction is one of the important problems of organic chemistry. This paper describes a method of applying a neural machine translation model to the prediction of organic chemical reactions. In order to translate 'reactants and reagents' to 'products', a gated recurrent unit based sequence-to-sequence model and a parser to generate input tokens for model from reaction SMILES strings were built. Training sets are composed of reactions from the patent databases, and reactions manually generated applying the elementary reactions in an organic chemistry textbook of Wade. The trained models were tested by examples and problems in the textbook. The prediction process does not need manual encoding of rules (e.g., SMARTS transformations) to predict products, hence it only needs sufficient training reaction sets to learn new types of reactions.

연구 동기 및 목표

• 주요 반응 생성물을 수작업으로 인코딩된 변환 규칙 없이 예측하는 동기를 부여한다.
• 반응을 SMILES로 표현하고 예측을 반응물/시약에서 생성물로의 번역으로 취급한다.
• 실제 특허 기반 학습 데이터와 생성된 Wade 템플릿 데이터가 예측 성능에 어떤 차이를 만드는지 평가한다.

제안 방법

• 반응의 SMILES 표현을 PEG 기반 파서를 사용해 인풋/아웃풋 토큰 시퀀스로 변환한다.
• 역으로 입력 토큰을 재정렬한 상태에서 생성물 y를 모델링하기 위해 주의(attention)가 있는 3-layer GRU 인코더-디코더를 사용한다.
• 실제 특허 기반 반응으로 학습된 두 모델과 Wade-템플릿 반응으로 생성된 데이터를 학습한 두 모델을 각각 학습시킨 후 비교한다.
• 확장 가능한 학습을 위해 600-dim 임베딩으로 입력/출력 시퀀스를 정규화하고 버킷링한다.
• ATOM 매핑 제거 및 극단적 반응 사례 필터링 등 모델 입력 제약에 맞게 학습 데이터를 전처리한다.

실험 결과

연구 질문

• RQ1 신경 번역 모델이 HAND-CRAFTED SMARTS 규칙 없이도 유기 반응 생성물을 예측할 수 있는가?
• RQ2 실제 특허 반응으로 학습하는 것이 생성된 기본 반응 템플릿으로 학습하는 것보다 예측을 향상시키는가?
• RQ3 모델이 더 긴 입력 시퀀스와 더 복잡한 기질에 얼마나 일반화될 수 있는가?
• RQ4 어텐션 메커니즘이 입력 토큰과 생성물 생성 간 정렬에 어떤 영향을 미치는가?

주요 결과

• 실제 특허 기반 학습 세트가 생성된 템플릿 반응만 사용하는 것보다 생성물 예측을 향상시킨다.
• 모델이 방향족 기질 등을 포함한 일부 인코딩되지 않은 반응 패턴으로 외삽할 수 있다.
• 더 긴 입력 시퀀스(더 많은 원자)는 오류율을 증가시키고 완전 정확한 예측을 감소시키지만, 실제+생성 모델은 상대적으로 안정적인 타미노 점수와 낮은 잘못된 SMILES 비율을 유지한다.
• 어텐션 메커니즘이 디코더의 단계들을 인코더 토큰에 정렬시키며, 반응 부위를 더 잘 매핑하면 잠재적으로 성능이 개선될 가능성이 있음을 시사한다.
• 더 크고 다양한 데이터셋(real+gen)으로 학습될 때 생성 가능한 유효한 product SMILES의 비율이 생성 데이터만 학습될 때보다 더 신뢰성 있게 증가한다.