[논문 리뷰] Retroformer: Pushing the Limits of Interpretable End-to-end Retrosynthesis Transformer

Yue Wan, Benben Liao외 2명|arXiv (Cornell University)|2022. 01. 29.

Machine Learning in Materials Science인용 수 6

한 줄 요약

Retroformer는 분자 서열과 그래프를 동시 인코딩할 수 있는 국소적 어텐션 헤드를 갖춘 새로운 Transformer 기반 아키텍처를 제안한다. 이는 화학정보학 도구에 의존하지 않고도 엔드 투 엔드, 템플릿 기반의 역합성 예측을 가능하게 하며, 알려진 반응 유형에서 64%의 상위 1위 정확도를 기록하고, 기준 Transformer 대비 분자 및 반응 유효성을 각각 23.6%와 22.0% 향상시킨다. 이는 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Retrosynthesis prediction is one of the fundamental challenges in organic synthesis. The task is to predict the reactants given a core product. With the advancement of machine learning, computer-aided synthesis planning has gained increasing interest. Numerous methods were proposed to solve this problem with different levels of dependency on additional chemical knowledge. In this paper, we propose Retroformer, a novel Transformer-based architecture for retrosynthesis prediction without relying on any cheminformatics tools for molecule editing. Via the proposed local attention head, the model can jointly encode the molecular sequence and graph, and efficiently exchange information between the local reactive region and the global reaction context. Retroformer reaches the new state-of-the-art accuracy for the end-to-end template-free retrosynthesis, and improves over many strong baselines on better molecule and reaction validity. In addition, its generative procedure is highly interpretable and controllable. Overall, Retroformer pushes the limits of the reaction reasoning ability of deep generative models.

연구 동기 및 목표

• 분자 편집을 위한 화학정보학 도구에 의존하지 않는 완전한 엔드 투 엔드, 해석 가능하고 제어 가능한 역합성 모델을 개발하는 것.
• 분자 서열과 그래프 구조를 동시 인코딩하여 깊이 학습 기반 생성 모델의 역합성 추론 능력을 향상시키는 것.
• 고정밀도를 유지하면서도 반응 및 분자 유효성을 향상시키는 것.
• 후속 합성 계획 수립을 위해 반응 중심 탐지 및 원자 매핑에 대한 정밀한 제어를 가능하게 하는 것.

제안 방법

• Transformer 디코더에서 국소적 반응 영역과 전반적인 반응 맥락 간의 효율적 정보 교환을 가능하게 하는 국소적 어텐션 헤드를 도입한다.
• 통합된 Transformer 인코더에서 SMILES 서열 인코딩과 그래프 구조 인코딩을 결합하여 순차적 및 위상적 분자 특징을 모두 포착한다.
• 원천(제품)과 타겟(반응물) SMILES 서열 간의 토큰 수준 대응을 향상시키기 위해 학습 중 가이드드 어울림 손실을 적용한다.
• 검출된 반응 중심에 집중하는 국소-전반적 디코더 아키텍처를 사용하여 제약 강화 및 유효성 향상을 도모한다.
• 상위-k 정확도 향상을 위해 반응 중심 탐색 전략을 적용함으로써 해석 가능성과 제어 가능성을 유지한다.
• 추가적인 정렬 모듈 없이 어텐션 가중치를 직접 활용하여 원자 매핑을 수행함으로써, 추가적인 해석 가능한 변환 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 외부 화학정보학 도구 없이 순수한 엔드 투 엔드 Transformer 모델이 템플릿 기반의 역합성 예측에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 분자 서열과 그래프 구조의 동시 인코딩이 반응 추론 능력과 유효성에 어떤 영향을 미치는가?
• RQ3 국소적 어텐션 메커니즘이 모델의 반응 중심에 대한 민감도를 얼마나 향상시킬 수 있는가?
• RQ4 모델은 알려진 및 알려지지 않은 반응 유형 모두에서 경쟁력 있는 정확도를 유지하면서도 높은 유효성과 해석 가능성을 달성할 수 있는가?
• RQ5 가이드드 어울림 손실과 반응 중심 탐색 전략은 생성 품질과 다양성에 어떤 영향을 미치는가?

주요 결과

• Retroformer는 알려진 반응 유형에서 64%의 상위 1위 정확도, 알려지지 않은 반응 유형에서는 53.2%의 정확도를 기록하여, 템플릿 기반의 역합성 예측 분야에서 새로운 최신 기술 수준을 수립한다.
• 기본 Transformer 기준 대비 분자 유효성은 23.6% 향상되고, 반응 유효성은 22.0% 향상된다.
• 절단 실험 결과, 국소-전반적 디코더와 가이드드 어울림 손실이 최적 성능을 내기 위해 필수적임을 확인하였으며, 국소-전반적 설계로 상위 1위 정확도가 2.9% 향상되었다.
• 반응 중심 탐색 전략은 전체 전역 디코더 대비 상위 10위 정확도를 4.9% 향상시켰으며, 정확도를 유지하면서 다양성을 향상시켰다.
• 어 attention 가중치에서 유도된 원자 매핑은 화학적으로 의미 있는 변환과 강한 대응을 보였지만, 대칭성으로 인해 일대일 매핑 실패가 발생할 수 있었다.
• 모델는 높은 해석 가능성을 보였으며, 높은 신뢰도로 반응 중심을 탐지하고 강조할 수 있었으며, 안내가 있을 경우 반응물을 제어적으로 생성할 수 있었다.