[논문 리뷰] Retrosynthesis with Attention-Based NMT Model and Chemical Analysis of the "Wrong" Predictions

Hongliang Duan, Ling Wang외 2명|arXiv (Cornell University)|2019. 08. 02.

Genomics and Phylogenetic Studies참고 문헌 40인용 수 5

한 줄 요약

이 논문은 반응 예측을 순서에서 순서로의 번역 작업으로 간주하는 순차적-순서 번역(Sequence-to-Sequence) 작업으로서의 주목사용 신경 기반 기계 번역(NMT) 모델을 제안한다. USPTO 특허에서 추출한 약 50,000개의 반응 데이터셋을 사용하여, 모델은 상위 1위 정확도 54.1%를 달성하였으며, 기준선 seq2seq 모델보다 뚜렷하게 뛰어나며, 화학적으로 타당한 '틀린' 예측들이 모델 일반화 능력과 실제 적용 가능성 향상 잠재력을 더 깊이 있게 드러내었다.

ABSTRACT

We cast retrosynthesis as a machine translation problem by introducing a special Tensor2Tensor, an entire attention-based and fully data-driven model. Given a data set comprising about 50,000 diverse reactions extracted from USPTO patents, the model significantly outperforms seq2seq model (34.7%) on a top-1 accuracy by achieving 54.1%. For yielding better results, parameters such as batch size and training time are thoroughly investigated to train the model. Additionally, we offer a novel insight into the causes of grammatically invalid SMILES, and conduct a test in which experienced chemists pick out and analyze the "wrong" predictions that may be chemically plausible but differ from the ground truth. Actually, the effectiveness of our model is un-derestimated and the "true" top-1 accuracy can reach to 64.6%.

연구 동기 및 목표

• 주석 예측 정확도를 향상시키기 위해 이를 신경 기반 기계 번역(NMT) 작업으로 재정의하는 것.
• USPTO 특허에서 유래한 대규모이고 다양한 주석 예측 데이터셋에서 주목사용 기반 NMT 모델의 성능을 평가하는 것.
• 모델 출력에서 문법적으로 잘못된 SMILES가 발생하는 원인을 분석하고, '틀렸지만 화학적으로 타당한' 예측의 특성을 이해하는 것.
• 전문 화학자들이 '틀린' 예측의 화학적 타당성을 평가하여 모델의 진정한 예측 능력을 평가하는 것.
• 배치 크기 및 학습 기간과 같은 모델 초기화 조건을 최적화하여 성능을 극대화하는 것.

제안 방법

• 모델는 Tensor2Tensor 프레임워크를 통해 구현된 자기 주목기반(self-attention) 메커니즘을 갖춘 순서에서 순서로의 아키텍처를 사용한다.
• 약 50,000개의 다양한 화학 반응이 USPTO 특허에서 추출되어 학습에 사용된다.
• 배치 크기 및 학습 시간과 같은 초기화 조건이 체계적으로 조정되어 모델의 일반화 능력과 성능 향상을 도모한다.
• 모델는 주어진 제품 SMILES 문자열에서 반응물 예측을 통해 주석 예측 경로를 생성한다.
• 경험이 풍부한 화학자들이 '틀린' 예측(정답과 일치하지 않지만 화학적으로 타당할 수 있는)에 대해 화학적 분석을 수행한다.
• 모델의 출력은 표준 상위 1위 정확도 외에도 잘못된 예측의 화학적 타당성에 대한 전문가 평가를 통해 평가된다.

실험 결과

연구 질문

• RQ1 주목사용 기반 NMT 모델이 기존의 seq2seq 모델보다 주석 예측 작업에서 뛰어난 성능을 보일 수 있는가?
• RQ2 모델 출력의 주석 예측 경로에서 발생하는 문법적으로 잘못된 SMILES의 근본 원인은 무엇인가?
• RQ3 정답과 다를지라도 화학적으로 타당한 '틀린' 예측은 얼마나 흔한가?
• RQ4 전문가 평가를 통해 모델의 진정한 예측 능력이 표준 상위 1위 정확도 지표를 초월하는 정도는 어느 정도인가?
• RQ5 배치 크기 및 학습 기간과 같은 초기화 조건의 선택이 주석 예측 성능에 미치는 영향은 어떠한가?

주요 결과

• 주목사용 기반 NMT 모델은 주석 예측 작업에서 상위 1위 정확도 54.1%를 달성하였으며, 기준선 seq2seq 모델의 34.7%보다 뚜렷하게 뛰어나다.
• 모델는 정답과 일치하지 않더라도 화학적으로 타당한 주석 예측 경로를 생성하는 데 강력한 능력을 보였다.
• 전문가가 '틀린' 예측 중 일부를 화학적으로 타당하다고 판단한 결과, 화학적 타당성을 고려할 경우 모델의 진정한 상위 1위 정확도는 64.6%까지 올라갈 수 있음을 시사한다.
• 분석 결과, SMILES 문자열의 문법 오류는 일반적으로 잘못된 결합 차수 또는 밸런스 할당으로 인해 발생하며, 이는 토크나이제이션 또는 후처리 기법 개선이 필요함을 시사한다.
• 특히 배치 크기 및 학습 기간에 대한 체계적 초깃값 조정은 모델 성능 향상에 뚜렷한 기여를 하였다.
• 본 연구는 표준 평가 지표가 화학적으로 타당한 대안을 간과함으로써 신경 모델의 실제 응용 가능성을 과소평가할 수 있음을 강조한다.