[論文レビュー] How hard is to distinguish graphs with graph neural networks?

Andreas Loukas|arXiv (Cornell University)|May 13, 2020

Advanced Graph Neural Networks参考文献 51被引用数 12

ひとこと要約

本稿では、メッセージパッシングニューラルネットワーク（MPNN）における情報交換の尺度として通信容量を導入し、木構造のグラフと一般の連結グラフを区別するには、MPNNの容量がそれぞれ線形および2次的に増加する必要があることを示している。理論的境界は12のタスクおよび420のネットワークを対象に実証的に検証され、理論的予測と実際の性能の間で強い整合性を示し、先行研究を上回るきめ細かく一般化可能なMPNN表現力の限界を提示している。

ABSTRACT

A hallmark of graph neural networks is their ability to distinguish the isomorphism class of their inputs. This study derives hardness results for the classification variant of graph isomorphism in the message-passing model (MPNN). MPNN encompasses the majority of graph neural networks used today and is universal when nodes are given unique features. The analysis relies on the introduced measure of communication capacity. Capacity measures how much information the nodes of a network can exchange during the forward pass and depends on the depth, message-size, global state, and width of the architecture. It is shown that the capacity of MPNN needs to grow linearly with the number of nodes so that a network can distinguish trees and quadratically for general connected graphs. The derived bounds concern both worst- and average-case behavior and apply to networks with/without unique features and adaptive architecture -- they are also up to two orders of magnitude tighter than those given by simpler arguments. An empirical study involving 12 graph classification tasks and 420 networks reveals strong alignment between actual performance and theoretical predictions.

研究の動機と目的

• MPNNのグラフ同型性クラスを区別する能力における根本的限界を理解すること。
• 深さ、幅、メッセージサイズ、グローバル状態を考慮した、MPNNにおける情報交換容量の一般的できめの細かい測定法を構築すること。
• 匿名および非匿名のMPNN、さらには適応的アーキテクチャを含む、グラフ同型性分類の難易度に関する結果を確立すること。
• 12のグラフ分類タスクにおける理論的予測と実験的結果の一致を通じて、理論と実践を橋渡しすること。

提案手法

• MPNNのフォワードパス中における全情報交換量を測る指標として通信容量を導入し、深さ、幅、メッセージサイズ、グラフのカット構造に依存する。
• 通信複雑性理論を応用して、グラフ同型性クラスを特定するのに必要な情報量の下界を導出する。
• 入力分布の期待値についても成り立つ境界を導出するための新規技術を用いる。
• 12のグラフ分類タスクにわたる420のMPNNを実証的に評価し、理論的容量と実際の性能の整合性を検証する。
• 情報理論的補題を用いて、同型性テストにおける誤差確率と通信容量の関係を示す不等式を導出する。
• グローバル状態や適応的アーキテクチャを考慮することで、先行研究を一般化し、現代のMPNN変種にも適用可能な境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 MPNNが木を区別できるために必要な最小通信容量は何か？
• RQ2 MPNNが一般の連結グラフを区別できるために必要な最小通信容量は何か？
• RQ3 多様なグラフ分類タスクにおいて、MPNN容量に関する理論的境界と実験的性能の比較はいかがなっているか？
• RQ4 通信複雑性理論は、従来の手法よりもきめ細かく一般性の高い境界をMPNN表現力に対して提供できるか？
• RQ5 必要な容量はノード数に従って線形的か2次的に増加するか？また、これは平均的入力分布下でも成り立つか？

主な発見

• 木を区別するには、MPNNの通信容量がノード数に線形に増加する必要があり、最悪ケースおよび平均ケースの両方で有効な境界が得られる。
• 一般の連結グラフを区別するには、ノード数に比例してMPNN容量が2次的に増加する必要がある。
• 単純な深さ×幅の積分析に比べて、導出された境界は最大2桁の精度向上を示している。
• 実験的結果では、12のグラフ分類タスクおよび420の訓練済みネットワークにおいて、理論的通信容量予測と実際のテスト精度の間で強い整合性が確認された。
• 本フレームワークは、一意なノード特徴量、グローバル状態、適応的アーキテクチャの有無に関わらず、MPNNに普遍的に適用可能である。
• 解析により、容量要件は最悪ケースでの必要性にとどまらず、自然な入力分布下でも高い確率で成立することが明らかになった。