[논문 리뷰] "Found in Translation": Predicting Outcomes of Complex Organic Chemistry Reactions using Neural Sequence-to-Sequence Models

Philippe Schwaller, Théophile Gaudin외 3명|arXiv (Cornell University)|2017. 11. 13.

Topic Modeling참고 문헌 30인용 수 4

한 줄 요약

이 논문은 유기 반응 예측을 번역 작업으로 간주하고 SMILES 문자열을 사용하여 템플릿이 없는 엔드 투 엔드 신경 시퀀스 투 시퀀스 모델을 소개한다. 새로운 확장 가능한 토크나이제이션 방법을 적용하고 완전히 데이터 기반으로 학습함으로써, USPTO 데이터셋에서 80.3%의 top-1 정확도와 더러운 특허 유래 데이터셋에서 65.4%의 정확도를 달성하여 이전의 최고 성능 모델들을 능가한다. 반응 템플릿이나 외부 지식에 의존하지 않는다.

ABSTRACT

There is an intuitive analogy of an organic chemist's understanding of a compound and a language speaker's understanding of a word. Consequently, it is possible to introduce the basic concepts and analyze potential impacts of linguistic analysis to the world of organic chemistry. In this work, we cast the reaction prediction task as a translation problem by introducing a template-free sequence-to-sequence model, trained end-to-end and fully data-driven. We propose a novel way of tokenization, which is arbitrarily extensible with reaction information. With this approach, we demonstrate results superior to the state-of-the-art solution by a significant margin on the top-1 accuracy. Specifically, our approach achieves an accuracy of 80.1% without relying on auxiliary knowledge such as reaction templates. Also, 66.4% accuracy is reached on a larger and noisier dataset.

연구 동기 및 목표

• 전문 지식이 필요하고 복잡한 반응 공간에서 유연성이 떨어지는 규칙 기반 및 템플릿 의존 반응 예측 방법의 한계를 해결하기 위해.
• 시퀀스 투 시퀀스 신경망이 SMILES 표현을 활용해 유기 화학 반응을 언어 번역 작업으로 모델링할 수 있는지 탐색하기 위해.
• 수동으로 제작된 반응 템플릿이나 외부 화학 지식에 의존하지 않는 완전히 데이터 기반의 엔드 투 엔드 모델을 개발하기 위해.
• 실제 복잡한 반응 데이터셋, 특히 US 특허에서 유래한 더러운 단일 제품 반응 데이터셋에서의 예측 정확도를 향상시키기 위해.
• 신경망이 데이터에서 직접 '유기 화학의 언어'를 학습하여 자동으로 반응 결과를 예측할 수 있음을 보여주기 위해.

제안 방법

• 모델은 반응물과 생성물을 나타내는 SMILES 문자열을 기반으로 엔코더-디코더 구조를 가진 시퀀스 투 시퀀스 아키텍처를 사용하며, 엔드 투 엔드로 학습된다.
• 표준 SMILES 토큰 외에도 반응 중심과 기능기 등 반응 특화 정보를 포함하는 새로운 확장 가능한 토크나이제이션 체계가 도입된다.
• 모델은 입력 시퀀스의 관련 부분에 동적으로 집중할 수 있도록 어텐션 메커니즘을 활용하며, 핵심 기능기 그룹이 SMILES 문자열에서 멀리 떨어져 있더라도 효과적으로 처리할 수 있다.
• 학습은 반응 템플릿이나 외부 화학 규칙을 사용하지 않고, 대규모 반응 데이터에만 의존하는 완전한 데이터 기반 방식이다.
• 추론 시에는 빔 서치 디코딩을 사용하며, 상위 1개 예측 확률에서 유도된 신뢰도 임계값을 통해 모델의 확신 수준을 평가한다.
• 모델은 두 가지 벤치마크 데이터셋에서 평가된다: 깨끗한 다단계 반응을 포함하는 USPTO 데이터셋과 더러운 단일 제품 반응을 포함하는 Lowe의 특허 유래 데이터셋.

실험 결과

연구 질문

• RQ1 원시 SMILES 문자열을 엔드 투 엔드로 학습한 신경 시퀀스 투 시퀀스 모델이 반응 템플릿 기반 방법보다 유기 반응 결과 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ2 데이터 기반의 템플릿 없는 모델이 US 특허와 같은 더러운 실생활 반응 데이터에 대해 얼마나 잘 일반화되는가?
• RQ3 모델의 예측 신뢰도와 정확도 간의 상관관계는 어떻게 되며, 신뢰도 임계값을 사용해 불확실한 예측을 식별할 수 있는가?
• RQ4 어텐션 메커니즘이 SMILES 표현에서 떨어져 있는 기능기 간의 장거리 상관관계를 어떻게 포착하는가?
• RQ5 동일한 학습 및 테스트 조건에서 평가했을 때, 모델의 성능은 최신 기술 모델들과 비교해 어떻게 되는가?

주요 결과

• USPTO 데이터셋에서 80.3%의 top-1 정확도를 달성하여 이전 최고 기록보다 6.3%포인트 높다.
• US 특허에서 유래한 더 큰 더러운 단일 제품 반응 데이터셋에서 65.4%의 top-1 정확도를 기록하여 이 도전적인 벤치마크에 새로운 기준을 설정한다.
• 후보 순위 매기기 없이도 USPTO 테스트 세트에서 WLDN 모델보다 top-1 정확도 6.3%포인트 높게 달성한다.
• 상위 1개 예측의 신뢰도, 즉 빔 서치 확률을 측정한 결과, 정확한 예측와 오류 예측 간 명확한 구분이 나타나며, 이는 불확실한 예측을 걸러내는 데에 신뢰도 임계값을 사용할 수 있음을 시사한다.
• 신뢰도 임계값 0.83에서 모델은 70.2%의 반응을 예측하며 83.0%의 정확도를 달성하지만, 나머지 29.8%의 경우는 기피한다.
• 어텐션 시각화 결과 모델이 핵심 반응 중심에 집중하고, 원거리에 있는 원자들 사이의 정확한 대응(예: 생성물에서 O로의 [O-] 매핑)을 학습하고 있음을 확인할 수 있다.