[論文レビュー] Graph Transformation Policy Network for Chemical Reaction Prediction

Kien Do, Truyen Tran+1 more|arXiv (Cornell University)|Dec 22, 2018

Machine Learning in Materials Science参考文献 23被引用数 11

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）とポリシー学習を用いて、化学反応予測を段階的グラフトランスフォーメーションとして定式化する強化学習ベースの手法、Graph Transformation Policy Network（GTPN）を提案する。GTPNは、手動で作成された反応ルールや固定された変換順序に依存せずに、エンドツーエンド学習によりUSPTOデータセットでSOTAのトップ1正解率83.20％を達成した。

ABSTRACT

We address a fundamental problem in chemistry known as chemical reaction product prediction. Our main insight is that the input reactant and reagent molecules can be jointly represented as a graph, and the process of generating product molecules from reactant molecules can be formulated as a sequence of graph transformations. To this end, we propose Graph Transformation Policy Network (GTPN) -- a novel generic method that combines the strengths of graph neural networks and reinforcement learning to learn the reactions directly from data with minimal chemical knowledge. Compared to previous methods, GTPN has some appealing properties such as: end-to-end learning, and making no assumption about the length or the order of graph transformations. In order to guide model search through the complex discrete space of sets of bond changes effectively, we extend the standard policy gradient loss by adding useful constraints. Evaluation results show that GTPN improves the top-1 accuracy over the current state-of-the-art method by about 3% on the large USPTO dataset. Our model's performances and prediction errors are also analyzed carefully in the paper.

研究の動機と目的

• 手動で作成された反応ルールやヒューリスティックに抽出された反応ルールに依存せずに、化学反応生成物の予測を実現すること。
• 反応予測を分子グラフ上の結合変更操作の系列として定式化し、構造的推論問題として扱うこと。
• グラフ表現と変換ポリシーを同時に最適化することで、反応機構のエンドツーエンド学習を可能にすること。
• 可変長の結合変更の系列を柔軟かつ順序に依存せずに予測可能とすることで、未知の反応への一般化性能を向上させること。
• 明示的な結合変更トリプル（原子対と新しい結合種別）の系列を生成することで、解釈可能な反応経路を提供すること。

提案手法

• 反応物および試薬分子を、ラベル付きノードおよびエッジを持つ単一の結合分子グラフとして表現する。
• 各変換プロセスのステップにおいて、分子グラフの現在の状態をグラフニューラルネットワーク（GNN）で符号化する。
• ノードペア予測ネットワーク（NPPN）とポリシーネットワーク（PN）を用いて、潜在的な変換のための反応トリプル（u,v,b）——原子対（u,v）と新しい結合種別b——を予測する。
• 強化学習を用い、アドバンテージアクターキャリブレーション（A2C）を用いてポリシーネットワークを訓練する。エージェントは、正しい生成物に近づけるように、結合変更（アクション）を選択する。
• 予測された反応トリプルにおける微小な摂動に対して耐性を高め、多様性を促進する制約を導入することで、標準的なポリシーグラデント損失を修正し、学習の安定性と耐性を向上させる。
• 停止アクションが予測されるまで、結合変更を繰り返し適用し、最終的な生成物構造を生成する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、事前に定義された反応テンプレートやルールに依存せずに、分子グラフから直接化学反応生成物を予測できるか？
• RQ2 強化学習を、分子グラフ変換という離散的かつ微分不能な空間に効果的に適用できるか？
• RQ3 エンドツーエンドで生の分子構造に学習させたモデルは、どのように未知の反応種別に一般化できるか？
• RQ4 ポリシーグラデント損失にどのような制約を課すと、予測された反応経路の耐性と多様性が向上するか？
• RQ5 モデルは、既知の化学的原則と整合する、解釈可能な段階的反応機構を生成できるか？

主な発見

• GTPNはUSPTOデータセットでトップ1正解率83.20％、USPTO-15kでは82.39％を達成し、前回のSOTA手法を約3％上回った。
• 特に複雑で多様な反応種別を扱う際の予測誤差が、従来手法と比べ顕著に低減された。
• エンドツーエンドでルールフリーな学習パラダイムにより、データから直接反応パターンを学習するため、未知の反応への一般化性能が優れた。
• ポリシーグラデント損失にカスタム制約を組み込むことで、学習の安定性が向上し、より耐性があり多様性に富んだ反応経路の予測が可能になった。
• 明示的な反応トリプルの系列を生成することで、生成物がどのように形成されるかを解釈可能な形で提示した。
• GTPNは、固定された変換順序や長さを仮定せずに、GNNと強化学習を統合的にエンドツーエンドフレームワークとして組み合わせた最初の手法である。