[論文レビュー] Natural Graph Networks

Pim de Haan, Taco Cohen+1 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Graph Neural Networks参考文献 35被引用数 29

ひとこと要約

この論文は、置換同変性をより広い概念である自然性に置き換えることで、グラフニューラルネットワークを一般化するフレームワークであるNatural Graph Networks (NGNs) を導入する。局所的に同変なカーネルをメッセージネットワークを介してパラメータ化するメッセージパッシングを用いることで、NGNs はグラフ分類ベンチマークで競争力のある性能を達成しながら、スケーラビリティとノード再ラベル化に対する不変性を維持する。

ABSTRACT

A key requirement for graph neural networks is that they must process a graph in a way that does not depend on how the graph is described. Traditionally this has been taken to mean that a graph network must be equivariant to node permutations. Here we show that instead of equivariance, the more general concept of naturality is sufficient for a graph network to be well-defined, opening up a larger class of graph networks. We define global and local natural graph networks, the latter of which are as scalable as conventional message passing graph neural networks while being more flexible. We give one practical instantiation of a natural network on graphs which uses an equivariant message network parameterization, yielding good performance on several benchmarks.

研究の動機と目的

• メッセージパッシングGNNの制限、すなわち置換同変性による制約と複雑なグラフにおける表現力の欠如を解消すること。
• 任意のノード再ラベル化に対して不変である、より一般で柔軟なグラフニューラルネットワークのフレームワークを構築すること。
• 自然性と圏論の概念を活用して、スケーラブルで局所的に同変なメッセージパッシングを実現すること。
• 局所的同変性を保ちつつ、カーネルパラメータ化に同変なメッセージネットワークを用いた実用的インスタンスを設計すること。
• 自然グラフネットワークが標準的なグラフ分類ベンチマークで競争力のある性能を達成することを示すこと。

提案手法

• 圏論における自然性の概念を用いてグラフネットワークを定義し、厳密な同変性の代わりに同型再ラベル化に対するより一般的な不変性を導入する。
• グローバルNGNとローカルNGNを導入し、ローカルNGNは局所的同型に制約されたメッセージパッシングを用いる。
• 局所的グラフ構造を処理する同変なメッセージネットワークを用いて、メッセージパッシングカーネルをパラメータ化する。
• ノード再ラベル化の下でメッセージネットワークの同変性とカーネル制約が一致するように保証し、ユニバーサル近似を可能にする。
• 従来の同変手法が対称性が低いため失敗する不規則なグラフ（例：知識グラフ）にこのフレームワークを適用する。
• 固定アーキテクチャ（GCN-2）を用いて、標準的なグラフ分類ベンチマークでモデルを訓練・評価する。

実験結果

リサーチクエスチョン

• RQ1 圏論における自然性の概念を用いることで、置換同変性を越えたより一般で表現力に富んだグラフニューラルネットワークのクラスを定義できるか？
• RQ2 スケーラビリティを損なわずに、ローカル同型に不変なローカルメッセージパッシングをどのように実現できるか？
• RQ3 メッセージネットワークを用いてカーネルをパラメータ化することで、同変性を保ちつつユニバーサル近似を可能にすることができるか？
• RQ4 メッセージパッシングアーキテクチャを持つ自然グラフネットワークは、標準的なグラフベンチマークで競争力のある性能を達成できるか？
• RQ5 自然グラフネットワークの性能は、グローバル同変モデルと標準的なメッセージパッシングGNNと比べてどうか？

主な発見

• 提案されたNatural Graph Network (NGN) モデルはNCI109データセットで最先端の性能を達成し、テストされたすべての手法の中で1位となった。
• IMDB-BおよびIMDB-Mデータセットでは2位を記録し、GIN や PPGN を含む多数のベースライン手法を上回った。
• NCI109では83.00% ± 1.89の精度を達成し、PPGN v2のような最良のグローバル同変モデルをも凌駕した。
• MUTAGでは89.39% ± 1.60の精度を達成し、5位となったが、多くの競合手法と比べて顕著に低い分散を示した。
• NGNモデルはPPGNのようなグローバル同変手法と同等の性能を発揮しながら、メッセージパッシングGNNのスケーラビリティを維持した。
• 付録Bの実験結果は、モデルの表現力と妥当な実行コストを裏付け、実用的妥当性を支持する。