[논문 리뷰] G-MATT: Single-step Retrosynthesis Prediction using Molecular Grammar Tree Transformer

Guomin Zhang, Vipul Mann외 1명|arXiv (Cornell University)|2023. 05. 04.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

G-MATT는 분자의 구조를 명시적인 화학 인지 기반 표현으로 캡처하기 위해 계층적 SMILES 문법 트리를 사용하는 새로운 트리-시퀀스 트랜스포머 모델을 제안한다. 이는 단일 단계의 역합성 예측 성능을 크게 향상시킨다. USPTO-50K 데이터셋에서 51%의 상위-1 정확도, 79.1%의 상위-10 정확도, 1.5%의 잘못된 반응 비율, 74.8%의 생물활성 유사도를 기록하며, 구조적 및 기능기능기반 정보를 통합함으로써 표준 SMILES 기반 모델을 능가한다.

ABSTRACT

Various template-based and template-free approaches have been proposed for single-step retrosynthesis prediction in recent years. While these approaches demonstrate strong performance from a data-driven metrics standpoint, many model architectures do not incorporate underlying chemistry principles. Here, we propose a novel chemistry-aware retrosynthesis prediction framework that combines powerful data-driven models with prior domain knowledge. We present a tree-to-sequence transformer architecture that utilizes hierarchical SMILES grammar-based trees, incorporating crucial chemistry information that is often overlooked by SMILES text-based representations, such as local structures and functional groups. The proposed framework, grammar-based molecular attention tree transformer (G-MATT), achieves significant performance improvements compared to baseline retrosynthesis models. G-MATT achieves a promising top-1 accuracy of 51% (top-10 accuracy of 79.1%), invalid rate of 1.5%, and bioactive similarity rate of 74.8% on the USPTO- 50K dataset. Additional analyses of G-MATT attention maps demonstrate the ability to retain chemistry knowledge without relying on excessively complex model architectures.

연구 동기 및 목표

• 역합성 예측을 위한 필수 화학적 구조 및 기능기능기반 정보를 포착하지 못하는 SMILES 텍스트 기반 표현의 한계를 해결하기 위해.
• 딥 러닝 모델에 도메인 특화 화학 문법 규칙을 통합하여 해석 가능성과 성능을 향상시키기 위해.
• 국소적 결합 및 기능기능기반 맥락을 유지하는 계층적 트리 구조의 분자 표현을 개발하기 위해.
• 화학적으로 타당하고 낮은 잘못된 반응 비율을 유지하면서도 최신 기술 수준의 단일 단계 역합성 예측 성능를 달성하기 위해.
• 어텐션 메커니즘이 복잡한 아키텍처를 요구하지 않더라도 화학 지식을 유지할 수 있음을 입증하기 위해.

제안 방법

• 모델는 분자를 SMILES 문법 트리로 표현하여 계층적 구조적 관계를 캡처하는 트리-시퀀스 트랜스포머 아키텍처를 사용한다.
• 각 분자는 고유의 SMILES 문법을 사용해 파싱되어 원자, 결합, 분지, 고리, 입체화학을 명시적으로 인코딩한다.
• 에코더는 목표 분자의 문법 트리 표현을 처리하고, 디코더는 크로스 어텐션을 통해 반응물의 SMILES 문자열에 주목한다.
• 모델는 자기 어텐션과 크로스 어텐션 메커니즘을 활용하여 목표 분자와 예측된 전구체 간의 구조적 무늬를 정렬한다.
• 24개의 고유한 문법 규칙 세트가 SMILES의 계층적 구조를 정의하여 원자, 결합, 분지 구성 요소로의 정밀한 파싱을 가능하게 한다.
• 아키텍처는 표준 순서-순서 목표와 교차 엔트로피 손실을 사용하여 USPTO-50K 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 표준 SMILES 문자열 모델링에 비해 문법 기반 분자 트리 표현이 역합성 예측의 정확도와 화학적 타당성에 기여하는가?
• RQ2 계층적 트리 구조를 사용할 때 트랜스포머 모델의 어텐션 메커니즘이 목표 분자와 그 전구체 간에 화학적으로 의미 있는 정렬을 얼마나 잘 학습하는가?
• RQ3 모델 아키텍처에 명시적인 화학 문법 규칙을 통합함으로써 잘못된 반응 비율은 감소시키면서도 높은 예측 정확도를 유지할 수 있는가?
• RQ4 기존의 템플릿 기반 및 템플릿 없는 역합성 모델과 비교해 표준 벤치마크에서 모델의 성능은 어떻게 되는가?
• RQ5 어텐션 시각화 결과가 모델이 예측 과정에서 화학적으로 관련 있는 기능기능기반, 반응 중심 등을 집중적으로 주목하고 있음을 확인할 수 있는가?

주요 결과

• G-MATT는 USPTO-50K 데이터셋에서 상위-1 정확도 51%를 기록하며, 기준 SMILES 기반 모델을 크게 앞서간다.
• 모델는 상위-10 정확도 79.1%를 달성하여 타당한 역합성 경로의 광범위한 커버리지를 보여준다.
• 잘못된 반응 비율은 오직 1.5%에 불과하여 생성된 전구체의 문법적 및 화학적 정확성이 매우 높음을 시사한다.
• 생물활성 유사도 비율은 74.8%에 도달하여 예측된 전구체가 훈련 세트 내 생물활성 화합물과 유사한 구조를 가짐을 나타낸다.
• 어텐션 시각화 결과 모델이 반응 중심, 기능기능기반, 입체화학 등 화학적으로 관련 있는 조각에 주목하고 있음을 확인할 수 있다.
• 복잡한 아키텍처 수정 없이도 높은 성능를 유지함으로써, 문법 기반 트리 표현 자체가 학습 효율성을 향상시킬 수 있음을 시사한다.