[論文レビュー] Molecule Property Prediction and Classification with Graph Hypernetworks

Eliya Nachmani, Lior Wolf|arXiv (Cornell University)|Feb 1, 2020

Machine Learning in Materials Science参考文献 57被引用数 8

ひとこと要約

本稿では、現在のメッセージと初期メッセージを組み合わせるハイパーネットワークを用いて、メッセージ伝達ネットワークの重みを動的に調整することで、分子特性予測および分類のための安定なハイパーネットワークベースのフレームワークを提案する。この手法は、QM9、PROTEINS、PTCといった複数のベンチマークで最先端の性能を達成しており、専用（NMP-Edge）および汎用GNN（IGN、GIN）の両方を向上させるとともに、エラー訂正符号における訓練の安定化を実現し、分野特有の近似を必要とせずに、先行するハイパーネットワーク手法を上回る性能を発揮する。

ABSTRACT

Graph neural networks are currently leading the performance charts in learning-based molecule property prediction and classification. Computational chemistry has, therefore, become the a prominent testbed for generic graph neural networks, as well as for specialized message passing methods. In this work, we demonstrate that the replacement of the underlying networks with hypernetworks leads to a boost in performance, obtaining state of the art results in various benchmarks. A major difficulty in the application of hypernetworks is their lack of stability. We tackle this by combining the current message and the first message. A recent work has tackled the training instability of hypernetworks in the context of error correcting codes, by replacing the activation function of the message passing network with a low-order Taylor approximation of it. We demonstrate that our generic solution can replace this domain-specific solution.

研究の動機と目的

• メッセージ伝達ネットワークの重みを動的に生成するハイパーネットワークを用いて、分子特性予測および分類を改善すること。
• ハイパーネットワークのグラフ学習における固有の訓練不安定性を解消するため、安定化された入力メカニズムを導入すること。
• 提案手法の安定化メカニズムが、回帰および分類の両タスクを含む、多様なGNNアーキテクチャに一般化可能であることを示すこと。
• ハイパーネットワークが分野特有の修正を必要としていたエラー訂正符号の分野においても、本手法が有効であることを検証すること。
• ハイパーネットワーク訓練におけるテイラー近似の必要性を、汎用的かつアーキテクチャに依存しない入力変更によって置き換えること。

提案手法

• ハイパーネットワークは、あるネットワーク（f）が別のネットワーク（g）の重みを生成する複合アーキテクチャを採用しており、gはグラフ内のメッセージ伝達を実行する。
• 訓練の安定化のため、現在のメッセージのみでなく、最初のメッセージ（h₀ᵥ）との線形結合を入力として使用する。
• この入力変更は、NMP-Edge、IGN、GINを含むさまざまなGNNアーキテクチャに一様に適用可能であり、アーキテクチャの再トレーニングを必要としない。
• 隠れ状態の更新において、初期メッセージと現在のメッセージの影響をバランスさせるため、減衰係数cを用いる。
• 本手法は、回帰（QM9）および分類（NCI1、MUTAG、PTC、PROTEINS）タスクに適用され、一貫した性能向上を示す。
• 線形ブロック符号に対しても評価が行われ、テイラー近似を用いずに訓練を安定化させるとともに、BER-SNR性能を向上させた。

実験結果

リサーチクエスチョン

• RQ1 分野特有の修正を用いずに、ハイパーネットワークをグラフニューラルネットワークで分子特性予測に安定化できるか？
• RQ2 現在のメッセージと初期メッセージを組み合わせることで、ハイパーネットワークベースのGNNにおける一般化性能と訓練安定性が向上するか？
• RQ3 本安定化メカニズムは、エラー訂正符号分野における先行研究で用いられていたテイラー近似の必要性を置き換えることができるか？
• RQ4 本手法の汎用的入力変更は、専用（NMP-Edge）および汎用（IGN、GIN）モデルを含む多様なGNNアーキテクチャにおいて、どの程度性能向上をもたらすか？
• RQ5 本手法は分子データを越えて一般化可能であり、線形ブロック符号の復号といった他のメッセージ伝達タスクにおいても性能を向上させるか？

主な発見

• NMP-Edgeアーキテクチャを用いた場合、QM9の12個の回帰タスクのうち9つで最先端の性能を達成しており、唯一のパラメータを除き、元のモデルにわずかに劣る結果であった。
• NMP-Edgeを用いたOQMDベンチマークでも最先端の結果を達成しており、大規模な分子特性予測において本手法の有効性を裏付けている。
• IGNモデルでは、QM9の全12パラメータを一度のモデルで予測する際、元のIGNよりも12/12のパラメータで性能向上を達成した。
• グラフ分類タスクでは、修正済みIGNおよびGINモデルが、1つのデータセットを除きすべてのデータセットでベースラインを上回り、PTCおよびPROTEINSでは顕著な改善を示した。
• エラー訂正符号では、先行研究で用いられていたテイラー近似を用いなくても、全テストコードでBER-SNRが0.09–0.12 dB向上した。
• アブレーションスタディの結果、初期メッセージやハイパーネットワーク部を削除すると一貫した性能低下が生じ、両要素の必要性が裏付けられた。