[論文レビュー] Modern Hopfield Networks for Few- and Zero-Shot Reaction Template Prediction

Philipp Seidl, Philipp Renz+7 more|arXiv (Cornell University)|Apr 7, 2021

Computational Drug Discovery Methods被引用数 7

ひとこと要約

本稿では、反応スクリプト予測における少データ・ゼロショット学習を目的として、分子とテンプレートの関連性を学習された記憶パターンによってモデル化する、現代的ホフリートネットワーク（MHNs）を提案する。分子とテンプレートを符号化し、ホフリート層を用いて関連するテンプレートを検索することで、USPTO-50kで最先端のtop-k 精確一致正答率を達成した。特に、訓練データが極めて少ないレアテンプレートにおいても性能が向上し、ベースラインより数倍速く動作する。

ABSTRACT

Finding synthesis routes for molecules of interest is an essential step in the discovery of new drugs and materials. To find such routes, computer-assisted synthesis planning (CASP) methods are employed which rely on a model of chemical reactivity. In this study, we model single-step retrosynthesis in a template-based approach using modern Hopfield networks (MHNs). We adapt MHNs to associate different modalities, reaction templates and molecules, which allows the model to leverage structural information about reaction templates. This approach significantly improves the performance of template relevance prediction, especially for templates with few or zero training examples. With inference speed several times faster than that of baseline methods, we improve predictive performance for top-k exact match accuracy for $\\mathrm{k}\\geq5$ in the retrosynthesis benchmark USPTO-50k.

研究の動機と目的

• テンプレートベースの反応スクリプト予測における低データ性能の課題、特にレアまたは未学習の反応テンプレートに対して対処すること。
• 分子とテンプレート表現を、現代的ホフリートネットワーク内の相互関連する記憶パターンとしてモデル化することで、テンプレートの関連性予測を改善すること。
• すべてのテンプレートに対して大規模なラベル付きデータを必要とせずに、化学反応テンプレート予測における効果的な少データ・ゼロショット学習を可能にすること。
• 特にk ≥ 5の場合に、top-k 精確一致正答率を著しく向上させつつ、高い推論速度を維持する方法を開発すること。
• 反応テンプレートと分子の構造的情報を連携符号化および関連記憶検索によって活用する、スケーラブルで微分可能なアーキテクチャを提供すること。

提案手法

• モデルは分子と反応テンプレートのための別個のエンコーダーを用い、それらを潜在表現に射影する。
• 現代的ホフリートネットワーク層は、符号化された分子表現と、符号化されたテンプレートの保存パターンとの照合によって、関連記憶検索を実行する。
• ホフリート層は、クエリを分子埋め込み、キーをテンプレート埋め込みとする類似度ベースのアテンションメカニズムを用いて、更新された状態パターンを計算する。
• モデルは、テンプレート予測に対する交差エントロピー損失、または正しいテンプレート関連の期待スコアを最大化する新しいパターンベースの損失関数のいずれかを用いて学習する。
• 複数のホフリート層をスタック可能であり、バックプロパゲーションを用いたエンドツーエンド最適化が可能である。
• 代替損失関数として、InfoNCEが含まれる。これは、検索されたパターンと正しいテンプレートの類似度を、誤ったテンプレートと対比させることで、低データ環境下でのロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 現代的ホフリートネットワークは、反応スクリプト予測における少データ・ゼロショット学習において、分子とテンプレートの関連性を効果的にモデル化できるか？
• RQ2 提案されたMHNベースの手法は、標準的な分類ベースのモデルと比較して、レアな反応テンプレートにおいてどのように性能を発揮するか？
• RQ3 MHNにおける関連記憶メカニズムは、広範なファインチューニングを必要とせずに、未学習のテンプレートへの一般化を向上させるか？
• RQ4 パターンベースの損失関数を交差エントロピー損失と比較した場合、モデルの性能とロバストネスにどのような影響を与えるか？
• RQ5 USPTO-50kのようなベンチマークデータセットにおいて、高い推論速度を維持しながら、top-k 精確一致正答率を維持または向上させられるか？

主な発見

• 提案されたMHNベースのモデルは、USPTO-50kの反応スクリプトベンチマークで最先端の性能を達成しており、特にk ≥ 5の場合のtop-k 精確一致正答率が向上している。
• モデルは、レアなテンプレートにおいてベースライン手法を著しく上回り、優れた少データ・ゼロショット一般化能力を示している。
• 推論速度はベースラインモデルの数倍速く、合成計画パイプラインへの効率的な導入が可能である。
• パターンベースの損失関数を用いることで、交差エントロピー損失と同等の性能が得られ、低データ環境下でのロバストネスが向上した。
• 関連記憶による分子とテンプレートの関連付けが可能であるため、特に1つのテンプレートあたりの訓練データが限られる状況でも、より良い一般化が可能である。
• 反応テンプレートを独立した記憶パターンとして符号化することで、構造的情報を効果的に活用し、予測精度が向上した。