[論文レビュー] Characterizing the Expressive Power of Invariant and Equivariant Graph Neural Networks.

Waïss Azizian, Marc Lelarge|arXiv (Cornell University)|Jun 28, 2020

Advanced Graph Neural Networks参考文献 32被引用数 9

ひとこと要約

本論文は、不変および等変グラフニューラルネットワーク（GNN）の表現力の比較を可能にする理論的枠組みを導入し、実用的GNNアーキテクチャにおける最初の近似保証を証明している。Folklore GNN（FGNN）—行列乗算を用いたテンソルベースのGNN—が、与えられたテンソル次数において最も表現力が高いモデルであることが同定され、従来の手法と比較してNP困難な2次割当問題（Quadratic Assignment Problem）において優れた性能を示している。

ABSTRACT

Various classes of Graph Neural Networks (GNN) have been proposed and shown to be successful in a wide range of applications with graph structured data. In this paper, we propose a theoretical framework able to compare the expressive power of these GNN architectures. The current universality theorems only apply to intractable classes of GNNs. Here, we prove the first approximation guarantees for practical GNNs, paving the way for a better understanding of their generalization. Our theoretical results are proved for invariant GNNs computing a graph embedding (permutation of the nodes of the input graph does not affect the output) and equivariant GNNs computing an embedding of the nodes (permutation of the input permutes the output). We show that Folklore Graph Neural Networks (FGNN), which are tensor based GNNs augmented with matrix multiplication are the most expressive architectures proposed so far for a given tensor order. We illustrate our results on the Quadratic Assignment Problem (a NP-Hard combinatorial problem) by showing that FGNNs are able to learn how to solve the problem, leading to much better average performances than existing algorithms (based on spectral, SDP or other GNNs architectures). On a practical side, we also implement masked tensors to handle batches of graphs of varying sizes.

研究の動機と目的

• 不変および等変GNNの表現力の比較のための理論的枠組みの構築。
• 従来の普遍性定理が非効率なクラスにのみ適用されていたという制限を克服し、実用的GNNアーキテクチャにおける近似保証の提供。
• 与えられたテンソル次数における最も表現力が高いGNNアーキテクチャの同定、FGNNに焦点を当てる。
• FGNNの複雑な組合せ最適化問題、たとえば2次割当問題（Quadratic Assignment Problem）における実用的性能の評価。
• GNN実装におけるマスク付きテンソルを用いた、サイズが異なるグラフのミニバッチ処理の効率化。

提案手法

• 置換不変性および等変性に基づく理論的分析フレームワークを提案し、GNNアーキテクチャの比較を可能にする。
• 表現力の向上を目的として、行列乗算操作を強化したテンソルベースのGNNとしてFGNNを形式化する。
• 固定されたテンソル次数の制約下でFGNNの近似保証を確立し、他の実用的GNNとの比較を可能にする。
• トレーニング中にサイズが異なるグラフのミニバッチを効率的に処理するため、マスク付きテンソルを実装する。
• 2次割当問題（QAP）にFGNNを適用し、解のヒューリスティクスを学習する。
• QAPベンチマークにおいて、スペクトル法、半正定値計画法（SDP）、および他のGNNアーキテクチャと比較してFGNNの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 与えられたテンソル次数において、実用的モデルの中でどのGNNアーキテクチャが最も高い表現力を達成するか？
• RQ2 非効率なクラスにのみ適用されていた普遍性定理を超えて、現実世界のGNNアーキテクチャに対して理論的近似保証を確立できるか？
• RQ3 FGNNは、2次割当問題のようなNP困難な組合せ最適化問題に対して、どれほど一般化し、効果的に解けるか？
• RQ4 マスク付きテンソルの使用が、サイズが異なるグラフバッチにおけるGNNトレーニングの効率性とスケーラビリティに与える影響は何か？
• RQ5 複雑な最適化タスクにおいて、FGNNの表現力は、既存のGNNおよび非GNN手法と比較してどの程度優れているか？

主な発見

• FGNNは、実用的モデルの中で与えられたテンソル次数において最も表現力が高いGNNアーキテクチャであることが証明された。
• FGNNは、スペクトル法、SDP、および他のGNNベースの手法と比較して、2次割当問題における平均性能が著しく優れていた。
• FGNNに対して理論的近似保証が確立され、非効率なGNNクラスにのみ適用されていた普遍性定理の範囲を超えた。
• マスク付きテンソルにより、サイズが異なるグラフの効率的なバッチ処理が可能になり、実世界のグラフデータにおけるトレーニング効率が向上した。
• 表現力の高いGNNアーキテクチャ、たとえばFGNNが、複雑な組合せ最適化問題を効果的に解く能力を学習できることを示した。
• 本研究は、表現力の正式な比較を通じて、実用的GNNにおける一般化の理解の基盤を提供した。