[論文レビュー] How hard is graph isomorphism for graph neural networks

Andreas Loukas|arXiv (Cornell University)|May 13, 2020

Advanced Memory and Neural Computing参考文献 3被引用数 2

ひとこと要約

本論文は、メッセージパッシングニューラルネットワーク（MPNNs）におけるグラフ同型性の根本的な難易度の限界を確立し、木構造では通信容量を線形に、一般の連結グラフでは2次的に増加させる必要があることを示している。理論的限界は、420のネットワークと12のタスクにおける実験的性能と強く一致している。

ABSTRACT

A hallmark of graph neural networks is their ability to distinguish the isomorphism class of their inputs. This study derives the first hardness results for graph isomorphism in the message-passing model (MPNN). MPNN encompasses the majority of graph neural networks used today and is universal in the limit when nodes are given unique features. The analysis relies on the introduced measure of communication capacity. Capacity measures how much information the nodes of a network can exchange during the forward pass and depends on the depth, message-size, global state, and width of the architecture. It is shown that the capacity of MPNN needs to grow linearly with the number of nodes so that a network can distinguish trees and quadratically for general connected graphs. Crucially, the derived bounds are applicable not only to worst-case instances but over a portion of all inputs. An empirical study involving 12 tasks of varying difficulty and 420 networks reveals strong alignment between actual performance and theoretical predictions.

研究の動機と目的

• グラフ表現学習における基本的問題であるグラフ同型性を解くという観点から、グラフニューラルネットワーク（GNNs）の理論的限界を理解すること。
• MPNNsがグラフ内の同型性クラスを区別できるために必要な最小通信容量を特定すること。
• 理論的限界が最悪ケースに限定されるのではなく、入力グラフの代表的集合に対しても成り立つかどうかを分析すること。
• 幅広いグラフ学習タスクにわたる大規模な実験的調査を通じて、理論的予測を検証すること。

提案手法

• MPNNsにおける前方伝搬中におけるノード間の情報交換総量として定義される、新たな指標「通信容量」を導入すること。
• 木構造および一般の連結グラフにおける同型性クラスを区別できるMPNNsに必要な通信容量の理論的下界を導出すること。
• ネットワークの深さ、メッセージサイズ、グローバルステート、幅を関数として定式化し、木構造では線形、一般のグラフでは2次的にスケーリングする必要があることを示すこと。
• 一意なノード特徴を持つユニバーサルメッセージパッシングフレームワークにおけるMPNNsの分析に、容量モデルを適用すること。
• 420種類の異なるMPNNアーキテクチャを用いて、12の多様なグラフ学習タスクで実験的評価を実施し、理論的予測との整合性を検証すること。
• 深さ、幅、メッセージサイズ、グローバルステートを変化させたアーキテクチャの性能を測定し、容量に基づく予測の妥当性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 MPNNsが木構造の同型性クラスを正しく区別できるために必要な最小通信容量は何か？
• RQ2 一般の連結グラフにおいて、通信容量の必要量は木構造と比べてどのようにスケーリングされるか？
• RQ3 理論的通信容量の限界は、最悪ケースに限定されるのではなく、入力グラフの代表的集合に対しても成り立つか？
• RQ4 通信容量の予測値と、多様なグラフ学習タスクにおける実際のMPNN性能との相関度合いはどの程度か？

主な発見

• MPNNsが木構造の同型性クラスを区別できるようにするには、ノード数に比例して通信容量が線形に増加する必要がある。
• 一般の連結グラフにおいては、同型性の区別を達成するためには、ノード数の2乗に比例して通信容量が増加する必要がある。
• 理論的通信容量の限界は最悪ケースに限定されるのではなく、入力グラフの顕著な割合に対しても成り立つ。
• 12のタスクと420のネットワークにおける実験結果から、通信容量に基づく予測性能と観測性能の間には強い整合性が確認された。
• MPNNsがグラフ同型性を解ける能力は、単にアーキテクチャの深さや幅に依存するのではなく、根本的に通信容量によって制限されることを確認した。
• 容量に基づく理論的枠組みは、同型性関連タスクにおけるMPNN性能の予測モデルを提供する。