[論文レビュー] PiNet: A Permutation Invariant Graph Neural Network for Graph Classification

Peter C. Meltzer, Marcelo Daniel Gutierrez Mallea+1 more|arXiv (Cornell University)|May 8, 2019

Advanced Graph Neural Networks参考文献 10被引用数 9

ひとこと要約

PiNet は、ノード順序に依存しない固定サイズのグラフ表現を学習するために、微分可能でノードに注目するプーリング機構を用いた、順序に不変なグラフニューラルネットワークである。分子分類ベンチマークにおいて最先端の性能を達成し、限られた学習データでも同型性検出において統計的に有意な精度向上を示している。

ABSTRACT

We propose an end-to-end deep learning learning model for graph classification and representation learning that is invariant to permutation of the nodes of the input graphs. We address the challenge of learning a fixed size graph representation for graphs of varying dimensions through a differentiable node attention pooling mechanism. In addition to a theoretical proof of its invariance to permutation, we provide empirical evidence demonstrating the statistically significant gain in accuracy when faced with an isomorphic graph classification task given only a small number of training examples. We analyse the effect of four different matrices to facilitate the local message passing mechanism by which graph convolutions are performed vs. a matrix parametrised by a learned parameter pair able to transition smoothly between the former. Finally, we show that our model achieves competitive classification performance with existing techniques on a set of molecule datasets.

研究の動機と目的

• ノード順序が任意であるが、同型なグラフは同一視されるべきグラフ分類の課題に対処する。
• 入力グラフのノード順序に対して不変性を保証するエンドツーエンドのディーブラーニングモデルを開発する。
• 標準的なGNNのグラフレベルタスクにおける制限を克服し、ノード順序にかかわらず一貫したグラフレベル表現を可能にする。
• ノード表現を固定サイズのグラフ埋め込みに集約するための微分可能で順序不変の注目力メカニズムを設計する。
• 構造的複雑性の異なる多様な分子グラフデータセット上で、モデルの頑健性と一般化性能を評価する。

提案手法

• ノード表現を固定サイズのグラフレベル埋め込みに集約する学習可能な注目力プーリング層を備えたグラフニューラルネットワークアーキテクチャを提案する。
• 学習可能なパラメータ $p$ と $q$ でパrameter化されたメッセージパッシング機構を導入し、異なるメッセージパッシング行列間の滑らかな遷移を可能にする。
• 注目力メカニズムはノード表現に基づいてノード重みを計算し、微分可能で順序不変な集約を実現する。
• 標準的なバックプロパゲーションを用いて交差エントロピー損失でエンドツーエンドに訓練する。
• メッセージパッシング行列は4つの基本行列の凸結合として定義され、$p$ と $q$ がそれらの間の遷移を制御する。
• モデルの出力が入力グラフのノードの任意の順序変更に対して不変であることを示す理論的証明を提示する。

実験結果

リサーチクエスチョン

• RQ1 グラフ分類のためのディーブラーニングモデルは、ノード順序の変更に対して保証された不変性を達成しつつ、高い精度を維持できるか？
• RQ2 提案された微分可能な注目力プーリング機構は、頑健で順序不変なグラフ表現を学習するのにどの程度効果的か？
• RQ3 モデルは異なるグラフタイプに応じて、最適なメッセージパッシング行列を動的に学習できるか？手動で選んだ選択肢を上回る性能を示せるか？
• RQ4 限られた学習データでも、同型性検出タスクにおいて統計的に有意な性能向上を達成できるか？
• RQ5 標準的な分子ベンチマークデータセットにおいて、既存のグラフ分類器と比較して、モデルはどの程度の性能を示すか？

主な発見

• PiNet は、特に小さな学習データセットにおいて、同型性分類タスクで統計的に有意な精度向上を達成し、GCN や PATCHY-SAN、WLKernel を上回っている。
• 学習された $p$ と $q$ パラメータを用いたモデルは、MUTAG で $88\pm0.7\%$、PROTEINS で $74\pm0.2\%$ の精度を達成し、手動でのハイパーパramータ探索を上回っている。
• NCI-1 データセットでは、PiNet は $75\pm0.6\%$ の精度を達成し、PATCHY-SAN や GCN などの最先端モデルと同等の性能を示している。
• MUTAG と PROTEINS では、手動探索よりも性能を向上させる $p$ と $q$ の値を学習しているが、すべてのデータセットで同様の結果が得られるわけではないことから、局所最適解への部分的収束が示唆されている。
• PiNet は、テストされた5つのベンチマークデータセットすべてにおいて、多様な分子データセットに対して頑健な性能を示しており、競争力のある性能を達成している。
• 理論的証明により、PiNet の出力が入力グラフのノードインデックスの任意の順序変更に対して不変であることが確認され、入力順序にかかわらず一貫した表現が保証されている。