[論文レビュー] Rxn Hypergraph: a Hypergraph Attention Model for Chemical Reaction Representation

Mohammadamin Tavakoli, А. Н. Шмаков+2 more|arXiv (Cornell University)|Jan 2, 2022

Machine Learning in Materials Science被引用数 5

ひとこと要約

本稿では、置換不変性、解釈可能性、汎用性を備えたグラフベースの構造を用いて化学反応を表現するハイパーグラフアテンションモデル、Rxn Hypergraphを提案する。このモデルにより、反応特性の予測が強固かつ正確に可能となり、反応分類および妥当性順序付けの分野で既存手法を上回る性能を示した。機械的反応データセットにおいて、RGATを用いて99.01%のトップ10精度を達成した。

ABSTRACT

It is fundamental for science and technology to be able to predict chemical reactions and their properties. To achieve such skills, it is important to develop good representations of chemical reactions, or good deep learning architectures that can learn such representations automatically from the data. There is currently no universal and widely adopted method for robustly representing chemical reactions. Most existing methods suffer from one or more drawbacks, such as: (1) lacking universality; (2) lacking robustness; (3) lacking interpretability; or (4) requiring excessive manual pre-processing. Here we exploit graph-based representations of molecular structures to develop and test a hypergraph attention neural network approach to solve at once the reaction representation and property-prediction problems, alleviating the aforementioned drawbacks. We evaluate this hypergraph representation in three experiments using three independent data sets of chemical reactions. In all experiments, the hypergraph-based approach matches or outperforms other representations and their corresponding models of chemical reactions while yielding interpretable multi-level representations.

研究の動機と目的

• 深層学習における普遍的で耐障害性があり、解釈可能かつ前処理が少ない化学反応表現の不足に対処する。
• 原子および分子の順列変換に対して不変であり、手動による特徴工学を回避する反応表現の開発。
• エンドツーエンドで学習可能なモデルを用いて、分類や妥当性順序付けを含む反応特性の高精度予測を可能にする。
• アテンション機構を用いて機能基団の相互作用や反応レベルのパターンを捉えることで、多段階の解釈可能性を提供する。
• タスク固有の手作業による特徴設計を一切用いずに、多様な反応予測タスクに一般化可能な性能を示す。

提案手法

• 反応物、生成物、試薬をノードとしてモデル化し、結合の変化に関与する原子を結ぶハイパーエッジを用いて反応ハイパーグラフ（rxn-hypergraph）を構築する。
• 局所的およびグローバルな反応コンテキストに基づいて、原子表現を更新するためのメッセージパッシングフレームワークをハイパーグラフ上で実装する。
• rxn-hypergraphからの潜在表現を学習するために、グラフアテンションネットワーク（GAT）と関係性グラフネットワーク（RGCN）を適用する。
• 反応機構同士の相対的妥当性を予測するために、非対称非線形性を有する直接的ペアワイズ順序付けアーキテクチャ（DirectRanker）を採用する。
• ペアワイズスコアをグローバルに一貫性のある反応機構順位に変換するために、ランク付きペア投票を用いる。
• SHERPAフレームワークを用いたベイズ最適化によりハイパーパrameterを最適化し、モデルの耐障害性と性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 化学反応のハイパーグラフ表現は、手動による前処理なしに普遍的で置換不変性があり、耐障害性のある表現学習を達成できるか？
• RQ2 反応分類および妥当性順序付けタスクにおいて、既存手法（例：reactionFP、Morganフィンガープリント、rxnfp）と比較してrxn-hypergraph表現はどのように性能を発揮するか？
• RQ3 rxn-hypergraphは、機能基団の相互作用といった化学的に意味のあるパターンを反映する解釈可能なアテンション機構をどの程度実現できるか？
• RQ4 rxn-hypergraphは、分類や順序付けを含む多様なデータセットにおける反応レベルの予測タスクで最先端の性能を達成できるか？
• RQ5 rxn-hypergraph上で関係性およびグラフアテンション機構を用いることで、標準的なGNNやテキストベースのモデルと比較して、一般化性能と性能が向上するか？

主な発見

• RGCNを用いたrxn-hypergraph表現は、反応分類タスクで98.8%のテスト精度を達成し、RGATを用いた妥当性順序付けタスクで99.0%のトップ10精度を記録し、すべてのベースラインを上回った。
• 機械的反応の妥当性順序付けタスクにおいて、rxn-hypergraph上でのRGATモデルはトップ1精度が84.23%に達し、次に優れた手法（事前学習済みrxnfpを用いる81.31%）を顕著に上回った。
• rxn-hypergraphモデルは、妥当性順序付けタスクでトップ5精度97.03%を達成し、次に優れた手法（rxnfpを用いる96.09%）を上回り、優れた一般化性能を示した。
• 分類および順序付けの両タスクにおいて一貫した性能向上が見られたため、モデルの性能はタスク間で安定しており、普遍性と適応性が裏付けられた。
• rxn-hypergraphモデルのアテンション機構は、解釈可能なアテンションパターンを提供し、反応機構に関する化学的に意味のある洞察を可能にした。
• 手作業による前処理ステップが不要であり、分子の順列変換に対して不変であるため、rxn-hypergraph表現は実世界の応用において実用的かつスケーラブルである。