[論文レビュー] Energy-based View of Retrosynthesis

Ruoxi Sun, Hanjun Dai+3 more|arXiv (Cornell University)|Jul 14, 2020

Machine Learning in Materials Science参考文献 30被引用数 15

ひとこと要約

本論文は、系列ベースおよびグラフベースの逆合成モデルを統合する統一されたエネルギー関数ベースのモデル（EBM）フレームワークを提案し、モデル設計の体系的比較と理解の向上を可能にする。また、前向きおよび後向き予測方向の両方で一貫して訓練される新規なデュアルEBMバージョンを導入し、テンプレートフリー逆合成で最先端の性能を達成し、従来手法比で4.3%の向上を実現した。

ABSTRACT

Retrosynthesis -- the process of identifying a set of reactants to synthesize a target molecule -- is of vital importance to material design and drug discovery. Existing machine learning approaches based on language models and graph neural networks have achieved encouraging results. In this paper, we propose a framework that unifies sequence- and graph-based methods as energy-based models (EBMs) with different energy functions. This unified perspective provides critical insights about EBM variants through a comprehensive assessment of performance. Additionally, we present a novel dual variant within the framework that performs consistent training over Bayesian forward- and backward-prediction by constraining the agreement between the two directions. This model improves state-of-the-art performance by 9.6% for template-free approaches where the reaction type is unknown.

研究の動機と目的

• 系列ベースおよびグラフベースの逆合成モデルを、より良い理論的理解と比較を可能にするために、単一のエネルギー関数ベースのモデル（EBM）フレームワークに統一すること。
• 異なるEBMバージョンの厳密かつ包括的な評価を提供し、今後の逆合成におけるモデル設計を支援すること。
• 前向き（反応生成物）と後向き（反応物予測）の両方の予測に一貫性を強制する、新たな一般化されたデュアルEBMバージョンの開発。
• 訓練時に真の反応中心を必要としない状態で、テンプレートフリー逆合成における最先端の性能を向上させること。

提案手法

• 反応物Xと生成物yを用いてエネルギー関数Eθ(X, y)を定義し、pθ(X|y) ∝ exp(−Eθ(X, y))として、逆合成を条件付き確率問題として定式化する。
• 異なるアーキテクチャ（例：トランスフォーマーによる系列ベース、GNNによるグラフベース、またはハイブリッド形式）を用いてエネルギー関数Eθを具体化することで、複数のEBMバージョンを設計する。
• 前向き予測（pα(y|X)）と後向き予測（pη(X|y)）を同時に最適化する二重損失関数を実装し、両方向の整合性を保つ制約を導入する。
• 推論時に候補の反応物を生成するためのプロポーザル機構（例：テンプレートベースまたは系列翻訳）を用い、エネルギースコアEθ*(X, y)に基づいて順位付けを行う。
• 最大尤度推定と擬似尤度推定を用いてモデルを訓練し、正規化はパーティション関数Z(θ)で処理する。
• 訓練中にSMILES文字列をランダム化することで、順序不変性を導入し、グラフに依存しないモデルの一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 系列ベースおよびグラフベースの逆合成モデルを、単一の理論的枠組みに正式に統一する方法は何か？
• RQ2 表現力、学習、推論の複雑さという観点から、さまざまなEBMバージョンの主な違いとトレードオフは何か？
• RQ3 前向きおよび後向き予測方向への一貫した訓練が、テンプレートフリー逆合成におけるモデル性能を向上させ得るか？
• RQ4 デュアルEBMバージョンは、テンプレートベースおよびテンプレートフリーの両設定において、既存の最先端手法をどの程度上回るか？

主な発見

• 反応種別が分かっている場合、拡張されたUSPTOデータセット上で提案された一般化されたデュアルEBMバージョンは、トップ1の正確度が65.7%に達し、以前の最先端手法（RetroXpert）を4.3%上回った。
• 真の反応中心を訓練時に必要としない状況でも、最良の準テンプレート手法（G2Gs）と比較して、トップ1の正確度が1.6%向上した。
• アブレーションスタディの結果、二重損失の各構成要素（前向き予測、後向き予測、事前分布）が性能向上に寄与しており、特に高精度領域では整合性制約が追加の利益をもたらすことが確認された。
• デュアルリランキングは候補の順位付けを顕著に改善した：ある例では、真の反応物が標準的な翻訳ベースのプロポーザルから3位から1位に上昇した。
• 統一されたEBMフレームワークにより、モデルバージョンの体系的比較が可能となり、グラフベースのモデルが本質的に順序不変性の恩恵を受ける一方で、系列ベースのモデルは同程度の頑健性を得るためにはデータ拡張（例：SMILESシャッフル）が必要であることが明らかになった。
• このフレームワークは、予測方向間の一貫性ある訓練が、特に複雑な領域や高精度領域において、より信頼性が高く正確な逆合成予測を実現することを示した。