[論文レビュー] Going Deeper into Permutation-Sensitive Graph Neural Networks

Zhongyu Huang, Yingheng Wang+2 more|arXiv (Cornell University)|May 28, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、隣接ノード間のペアワイズ相関を効率的に捉えるために、置換群に基づくサンプリング戦略を用いる新しいグラフニューラルネットワーク、PG-GNNを提案する。この手法は、2-WLテストよりも厳密に強い表現力を持ち、3-WLテストと同等以上でありながら、線形のサンプリング複雑度を維持する。これにより、完全な置換列挙と比較して、計算コストを著しく削減した、より深い、より表現力のあるGNNの構築が可能になる。

ABSTRACT

The invariance to permutations of the adjacency matrix, i.e., graph isomorphism, is an overarching requirement for Graph Neural Networks (GNNs). Conventionally, this prerequisite can be satisfied by the invariant operations over node permutations when aggregating messages. However, such an invariant manner may ignore the relationships among neighboring nodes, thereby hindering the expressivity of GNNs. In this work, we devise an efficient permutation-sensitive aggregation mechanism via permutation groups, capturing pairwise correlations between neighboring nodes. We prove that our approach is strictly more powerful than the 2-dimensional Weisfeiler-Lehman (2-WL) graph isomorphism test and not less powerful than the 3-WL test. Moreover, we prove that our approach achieves the linear sampling complexity. Comprehensive experiments on multiple synthetic and real-world datasets demonstrate the superiority of our model.

研究の動機と目的

• 隣接ノード間の構造的関係を無視する置換不変GNNの限界を是正すること。
• すべての置換を列挙しないで、ペアワイズ相関関係を計算的に効率的に捉える方法を設計すること。
• 2-WLテストを上回る表現力を達成しながら、線形のサンプリング複雑度を維持すること。
• 完全な置換モデルの計算的ボトル neck を克服することで、より深いGNNアーキテクチャの実現を可能にすること。
• 置換不変性を、ペアワイズ相関関係への不変性として近似することで、表現力と一般化性能のバランスを保つこと。

提案手法

• 置換サンプリングの複雑度をO(n log n)からO(n)に削減する置換群（PG）サンプリング戦略を提案する。
• PGを用いて、隣接ノード間のn(n−1)/2個のすべてのペアワイズ相関関係をカバーする少数の代表的置換をサンプリングする。
• サンプリングされた置換に対して、置換に敏感なアグリゲーター（例：LSTM）を用いて、隣接ノード間の関係をモデル化する。
• 2-WLテストよりも厳密に表現力が強く、3-WLテストと同等以上であるアグリゲーション機構を設計する。
• バッチ正規化と残差接続を備えた深層GNNフレームワークに、PGベースのアグリゲーションを統合する。
• ペアワイズ相関関係への不変性を置換不変性の代理として活用し、表現力と一般化性能のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 2-WLテストを上回る表現力を達成しつつ、線形の計算複雑度を維持できるGNNは構築可能か？
• RQ2 少数のサンプリングされた置換を用いて、隣接ノード間のペアワイズ相関関係を効果的に捉えることができるか？
• RQ3 提案された置換群サンプリング戦略は、表現力の損なわれることなく複雑度を低減するか？
• RQ4 置換に敏感なモデルであるにもかかわらず、一般化性能が十分に高いか？
• RQ5 提案手法の表現力は、既存の置換不変および置換に敏感なGNNと比較してどうか？

主な発見

• 提案されたPG-GNNは、2-WLテストを上回る厳密な表現力を達成しており、2-WLでは区別できないグラフを区別可能である。
• 3-WLテストと同等以上であるため、高い表現力を持つことが示された。
• 置換サンプリングの複雑度がO(n log n)からO(n)に削減され、大幅に効率が向上した。
• 合成データセットでは、4クライクや5クライクグラフのような複雑なグラフ構造の区別において、2-WLに制限されたモデルを上回る性能を示した。
• TUDataset、MNIST、ZINCといった実世界のベンチマークでも、パラメータ数を減らし、推論速度を向上させながら、最先端または競争力のある性能を達成した。
• アブレーションスタディにより、PGサンプリングを用いた置換に敏感なアグリゲーションが、局所的サブ構造の相関関係を捉える上で不可欠であることが確認された。