[논문 리뷰] Permutation invariant graph-to-sequence model for template-free retrosynthesis and reaction prediction

Zhengkai Tu, Connor W. Coley|arXiv (Cornell University)|2021. 10. 19.

Machine Learning in Materials Science참고 문헌 61인용 수 4

한 줄 요약

이 논문은 SMILES 기반 입력 대신 분자 그래프 인코딩을 사용하여 템플릿 기반 반응합성 및 반응 예측을 향상시키는 순열 불변 그래프-시퀀스 모델인 Graph2SMILES를 제안한다. 국소 원자 상호작용을 위한 D-MPNN와 글로벌 어텐션 인코더, 그래프 인식 위치 임베딩을 조합함으로써, 입력 측 SMILES 증강 없이도 최신 기술 수준의 1위 정확도를 달성하며, USPTO_50k 반응합성 과제에서 트랜스포머보다 9.8% 높은 성능을 기록한다.

ABSTRACT

Synthesis planning and reaction outcome prediction are two fundamental problems in computer-aided organic chemistry for which a variety of data-driven approaches have emerged. Natural language approaches that model each problem as a SMILES-to-SMILES translation lead to a simple end-to-end formulation, reduce the need for data preprocessing, and enable the use of well-optimized machine translation model architectures. However, SMILES representations are not an efficient representation for capturing information about molecular structures, as evidenced by the success of SMILES augmentation to boost empirical performance. Here, we describe a novel Graph2SMILES model that combines the power of Transformer models for text generation with the permutation invariance of molecular graph encoders that mitigates the need for input data augmentation. As an end-to-end architecture, Graph2SMILES can be used as a drop-in replacement for the Transformer in any task involving molecule(s)-to-molecule(s) transformations. In our encoder, an attention-augmented directed message passing neural network (D-MPNN) captures local chemical environments, and the global attention encoder allows for long-range and intermolecular interactions, enhanced by graph-aware positional embedding. Graph2SMILES improves the top-1 accuracy of the Transformer baselines by $1.7\%$ and $1.9\%$ for reaction outcome prediction on USPTO_480k and USPTO_STEREO datasets respectively, and by $9.8\%$ for one-step retrosynthesis on the USPTO_50k dataset.

연구 동기 및 목표

• 원자 순서 민감성과 강건한 성능 확보를 위한 데이터 증강이 필요한 SMILES 표현 방식의 분자 기계학습에서의 한계를 해결한다.
• 반응합성 및 반응 예측 과제에서 입력 측 SMILES 증강이 필요 없도록 하기 위해 순열 불변성을 유지하는 그래프-시퀀스 아키텍처를 개발한다.
• 템플릿, 원자 매핑, 사전학습에 의존하지 않고도 그래프 구조와 어텐션 메커니즘을 활용하여 표준 벤치마크에서 성능을 향상시키며, 특히 1위 정확도를 개선한다.
• 모든 분자-분자 변환 파이프라인에서 트랜스포머를 대체할 수 있는 일반화 가능하고 즉시 사용 가능한 백본 모델을 설계한다.

제안 방법

• 국소 화학적 환경을 포착하기 위해 어텐션 강화된 유도 메시지 전파 신경망(D-MPNN)을 사용하는 이중 단계 인코더를 제안하며, 이는 장거리 및 분자 간 상호작용을 모델링하기 위해 글로벌 자기어텐션 인코더를 이어받는다.
• 분자 그래프의 위상 정보를 인코딩하는 그래프 인식 위치 임베딩을 도입하여, 사전학습이나 보조 작업 없이도 어텐션 메커니즘의 성능을 향상시킨다.
• 인코딩된 분자 그래프에서 SMILES 문자열을 생성하기 위해 트랜스포머 디코더를 사용하며, 반응합성과 반응 예측을 모두 그래프-시퀀스 과제로 간주한다.
• 모델을 엔드 투 엔드로 훈련시키며, 순서 생성을 위한 교차 엔트로피 손실을 사용하고, 인코더에 SMILES 순서 입력에 의존하지 않는다.
• 분자 구조를 그래프 표현을 통해 직접 인코딩함으로써 순열 불변성을 확보하여, 입력에서 원자 순서에 영향을 받지 않도록 한다.
• 다중 분자 입력(예: 반응물과 생성물)으로의 일반화를 위해 그래프 표현과 어텐션 메커니즘의 확장을 통해 다중 하위그래프 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 SMILES 증강 없이도 그래프-시퀀스 모델이 템플릿 기반 반응합성 및 반응 예측에서 뛰어난 성능을 낼 수 있는가?
• RQ2 표준 트랜스포머 인코더에 비해 그래프 인식 위치 임베딩과 글로벌 어텐션은 분자 생성 과제에서 얼마나 성능을 향상시키는가?
• RQ3 순열 불변 그래프 인코더는 입력 측 SMILES 증강이 필요 없이도 정확도를 유지하거나 향상시키는 데 효과적인가?
• RQ4 템플릿, 원자 매핑 또는 사전학습을 사용하는 최신 기술 수준의 방법들과 비교해 볼 때, 제안된 Graph2SMILES 모델은 표준 벤치마크에서 어떻게 성능을 내는가?
• RQ5 각 구성 요소(D-MPNN, 위치 임베딩, 글로벌 어텐션)가 최종 성능에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• Graph2SMILES는 USPTO_50k 반응합성 데이터셋에서 52.9%의 1위 정확도를 기록하며, 템플릿, 원자 매핑, 입력 측 SMILES 증강 없이도 트랜스포머 기반 모델보다 9.8% 높은 성능을 보였다.
• USPTO_480k 및 USPTO_STEREO 데이터셋에서 Graph2SMILES는 반응 결과 예측 과제에서 트랜스포머 기반 모델 대비 각각 1.7%, 1.9% 높은 1위 정확도를 기록했다.
• 제거 실험 결과, 글로벌 어텐션 인코더를 제거하면 1위 정확도가 8.3점 감소하고, 그래프 인식 위치 임베딩을 제거하면 2.1점 감소함으로써, 두 구성 요소의 중요성을 확인했다.
• 모델은 다중 분자 입력으로의 일반화 능력이 뛰어나며, 순열 불변성을 유지하여 동일한 SMILES 문자열 기반의 데이터 증강이 필요 없음을 입증했다.
• Graph2SMILES는 분자 변환 과제에서 트랜스포머의 즉시 대체 가능하며, 보조 훈련에 의존하지 않고도 아키텍처의 대대적 개선 없이 성능 향상을 가능하게 한다.
• 출력 측 SMILES 증강 없이도 모델 성능은 강건하고 경쟁력 있는 편이지만, 향후 변동성 추론을 활용해 top-n 생성 품질을 향상시키는 연구가 가능할 것이다.