[論文レビュー] Retroformer: Pushing the Limits of Interpretable End-to-end Retrosynthesis Transformer

Yue Wan, Benben Liao+2 more|arXiv (Cornell University)|Jan 29, 2022

Machine Learning in Materials Science被引用数 6

ひとこと要約

Retroformerは、分子配列とグラフを統合的に符号化する局所的アテンションヘッドを備えた、新しいTransformerベースのアーキテクチャを導入し、化学情報学ツールに依存せずにエンドツーエンドでテンプレートフリーの逆合成予測を可能にした。このモデルは、既知の反応クラスにおいて64%のトップ1精度を達成し、ベースラインのTransformerと比較して分子の妥当性が23.6%、反応の妥当性が22.0%向上し、最先端の性能を達成した。

ABSTRACT

Retrosynthesis prediction is one of the fundamental challenges in organic synthesis. The task is to predict the reactants given a core product. With the advancement of machine learning, computer-aided synthesis planning has gained increasing interest. Numerous methods were proposed to solve this problem with different levels of dependency on additional chemical knowledge. In this paper, we propose Retroformer, a novel Transformer-based architecture for retrosynthesis prediction without relying on any cheminformatics tools for molecule editing. Via the proposed local attention head, the model can jointly encode the molecular sequence and graph, and efficiently exchange information between the local reactive region and the global reaction context. Retroformer reaches the new state-of-the-art accuracy for the end-to-end template-free retrosynthesis, and improves over many strong baselines on better molecule and reaction validity. In addition, its generative procedure is highly interpretable and controllable. Overall, Retroformer pushes the limits of the reaction reasoning ability of deep generative models.

研究の動機と目的

• 分子編集に化学情報学ツールに依存しない完全なエンドツーエンドで解釈可能かつ制御可能な逆合成モデルの開発。
• 分子配列とグラフ構造を統合的に符号化することで、深層生成モデルの逆合成における推論能力を向上させること。
• テンプレートフリーの逆合成において高い精度を維持しながら、反応および分子の妥当性を向上させること。
• 下流の合成計画において、反応中心の検出と原子マッピングを正確に制御できること。

提案手法

• Transformerデコーダー内で局所的反応領域とグローバルな反応文脈間の効率的な情報交換を可能にする局所的アテンションヘッドを導入。
• 統一されたTransformerエンコーダー内でSMILES配列符号化とグラフ構造符号化を統合し、順序的およびトポロジカルな分子特徴を捉える。
• トレーニング中にガイド付きアライメント損失を採用し、入力（生成物）と出力（反応物）のSMILESシーケンス間のトークンレベル対応を改善。
• 反応中心に注目する局所的・グローバルなデコーダー構造を採用し、制約の強化と妥当性の向上を実現。
• トップ-k精度の向上を図る反応中心探索戦略を導入し、解釈可能性と制御可能性を維持。
• アテンション重みを直接的に原子マッピングに活用し、追加のアライメントモジュールなしに解釈可能な変換予測を実現。

実験結果

リサーチクエスチョン

• RQ1 外部の化学情報学ツールに依存せずに、純粋なエンドツーエンドのTransformerモデルがテンプレートフリーの逆合成で最先端の性能を達成できるか？
• RQ2 分子配列とグラフ構造の統合的符号化が、反応推論と妥当性にどのように寄与するか？
• RQ3 局所的アテンション機構は、モデルの反応中心への感受性をどの程度向上させられるか？
• RQ4 未知の反応クラスにおいても、高い妥当性と解釈可能性を維持しながら、競争力ある精度を達成できるか？
• RQ5 ガイド付きアライメント損失と反応中心探索戦略は、生成品質と多様性にどのように影響するか？

主な発見

• Retroformerは、既知の反応クラスで64%のトップ1精度、未知の反応クラスで53.2%のトップ1精度を達成し、テンプレートフリーの逆合成において新たな最先端水準を確立した。
• ベースラインのヴァナイルなTransformerと比較して、分子の妥当性が23.6%向上、反応の妥当性が22.0%向上した。
• アブレーションスタディにより、局所的・グローバルなデコーダーとガイド付きアライメント損失が最適性能を達成するために不可欠であることが確認され、局所的・グローバル構造による2.9%のトップ1精度向上が得られた。
• 反応中心探索戦略により、フルグローバルデコーダーと比較してトップ10精度が4.9%向上し、精度を損なわず多様性が向上した。
• アテンション重みから導出された原子マッピングは、化学的に意味のある変換と強く一致したが、対称性の影響により1対1のマッピングに失敗するケースも存在した。
• モデルは高い解釈可能性を示した：反応中心を高い信頼度で検出し、ハイライト表示でき、ガイドされた場合に制御可能な反応物を生成できた。