[論文レビュー] Permutation invariant graph-to-sequence model for template-free retrosynthesis and reaction prediction

Zhengkai Tu, Connor W. Coley|arXiv (Cornell University)|Oct 19, 2021

Machine Learning in Materials Science参考文献 61被引用数 4

ひとこと要約

本稿では、SMILESに基づく入力の代わりに分子グラフ符号化を採用することで、テンプレートフリーの逆合成および反応予測を改善する、順序不変なグラフからシーケンスへのモデルであるGraph2SMILESを提案する。局所的な原子間相互作用を扱うD-MPNNと、グローバルなアテンションエンコーダーおよびグラフに適応した位置埋め込みを組み合わせることで、入力側のSMILES拡張を必要とせず、SOTAのトップ1正解率を達成し、Transformerを9.8%上回る性能を発揮した。USPTO_50k逆合成タスクにおいては、特に顕著な改善が得られた。

ABSTRACT

Synthesis planning and reaction outcome prediction are two fundamental problems in computer-aided organic chemistry for which a variety of data-driven approaches have emerged. Natural language approaches that model each problem as a SMILES-to-SMILES translation lead to a simple end-to-end formulation, reduce the need for data preprocessing, and enable the use of well-optimized machine translation model architectures. However, SMILES representations are not an efficient representation for capturing information about molecular structures, as evidenced by the success of SMILES augmentation to boost empirical performance. Here, we describe a novel Graph2SMILES model that combines the power of Transformer models for text generation with the permutation invariance of molecular graph encoders that mitigates the need for input data augmentation. As an end-to-end architecture, Graph2SMILES can be used as a drop-in replacement for the Transformer in any task involving molecule(s)-to-molecule(s) transformations. In our encoder, an attention-augmented directed message passing neural network (D-MPNN) captures local chemical environments, and the global attention encoder allows for long-range and intermolecular interactions, enhanced by graph-aware positional embedding. Graph2SMILES improves the top-1 accuracy of the Transformer baselines by $1.7\%$ and $1.9\%$ for reaction outcome prediction on USPTO_480k and USPTO_STEREO datasets respectively, and by $9.8\%$ for one-step retrosynthesis on the USPTO_50k dataset.

研究の動機と目的

• 分子機械学習におけるSMILES表現の限界を解決すること。特に、原子の順序に敏感であり、頑健な性能を得るためにはデータ拡張が必要となる点。
• 逆合成および反応予測タスクにおいて、入力側のSMILES拡張を不要にするために、順序不変性を保つグラフからシーケンスへのアーキテクチャを開発すること。
• テンプレート、原子マッピング、事前学習に依存せずに、グラフ構造とアテンション機構を活用することで、標準ベンチマーク（特にトップ1正解率）におけるモデル性能を向上させること。
• 任意の分子から分子への変換パイプラインに組み込める汎用的で、即座に利用可能なバックボーンモデルを設計すること。

提案手法

• 局所的な化学的環境を捉えるためにアテンション拡張型有向メッセージパッシングニューラルネットワーク（D-MPNN）を用いた2段階エンコーダーを提案。その後、長距離および分子間相互作用をモデル化するグローバル自己アテンションエンコーダーを追加する。
• 分子グラフのトポロジー情報を符号化するグラフに適応した位置埋め込みを導入。事前学習や補助タスクを必要とせず、アテンション機構を強化する。
• エンコードされた分子グラフからSMILES文字列を生成するために、Transformerデコーダーを用いる。逆合成および反応予測の両タスクを、グラフからシーケンスへのタスクとして扱う。
• シーケンス生成のための交差エントロピー損失を用いて、エンコーダーにSMILESシーケンス入力を一切依存しない形で、エンドツーエンドで学習する。
• 分子構造を直接グラフ表現で符号化することで、入力における原子順序に依存しないモデルを実現し、順序不変性を確保する。
• 複数のサブグラフ（例：反応物と生成物）を扱えるように、グラフ表現およびアテンション機構を拡張することで、複数分子入力への一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 SMILES拡張を一切使わず、テンプレートフリーの逆合成および反応予測において、グラフからシーケンスへのモデルが優れた性能を発揮できるか？
• RQ2 グラフに適応した位置埋め込みとグローバルアテンションは、分子生成タスクにおいて、標準的なTransformerエンコーダーと比較してどの程度性能を向上させるか？
• RQ3 順序不変なグラフエンコーダーは、入力側のSMILES拡張を完全に不要にすることができるか？また、その際、モデルの正解率は維持または向上するか？
• RQ4 テンプレート、原子マッピング、または事前学習を用いるSOTA手法と比較して、提案手法のGraph2SMILESは標準ベンチマークでどの程度の性能を示すか？
• RQ5 D-MPNN、位置埋め込み、グローバルアテンションといった各コンポonentが、最終的なモデル性能に果たす相対的寄与度はどの程度か？

主な発見

• Graph2SMILESは、USPTO_50k逆合成データセットにおいてトップ1正解率52.9%を達成し、テンプレート、原子マッピング、入力側のSMILES拡張を一切使用しない状態で、Transformerベースラインを9.8%上回った。
• USPTO_480kおよびUSPTO_STEREOデータセットでは、反応生成結果予測において、それぞれトップ1正解率が1.7%および1.9%向上し、Transformerベースラインを上回った。
• アブレーションスタディの結果、グローバルアテンションエンコーダーを削除するとトップ1正解率が8.3ポイント低下し、グラフに適応した位置埋め込みを削除すると2.1ポイント低下した。これにより、両コンポーネントの重要性が確認された。
• モデルは複数分子入力に対しても優れた一般化性能を示し、順序不変性を維持することで、同等のSMILES文字列に基づくデータ拡張の必要性がなくなる。
• Graph2SMILESは、分子変換タスクにおけるTransformerの即座の交換可能代替品であり、アーキテクチャの大幅な見直しや補助学習への依存なしに、性能向上を実現できる。
• 出力側のSMILES拡張を一切使わずとも、モデルの性能は頑健で競争力がある。今後の課題として、トップ-n生成品質の向上を目指した変動的推論の活用も検討可能である。