[论文解读] How hard is graph isomorphism for graph neural networks

Andreas Loukas|arXiv (Cornell University)|May 13, 2020

Advanced Memory and Neural Computing参考文献 3被引用 2

一句话总结

本文確立了消息傳遞神經網絡（MPNNs）在圖同構問題上的基本難度極限，表明對於樹狀圖，通信容量必須線性增長；對於一般連通圖，則需二次方增長，才能區分同構類。理論邊界與420個圖網絡和12項任務的實證表現高度一致。

ABSTRACT

A hallmark of graph neural networks is their ability to distinguish the isomorphism class of their inputs. This study derives the first hardness results for graph isomorphism in the message-passing model (MPNN). MPNN encompasses the majority of graph neural networks used today and is universal in the limit when nodes are given unique features. The analysis relies on the introduced measure of communication capacity. Capacity measures how much information the nodes of a network can exchange during the forward pass and depends on the depth, message-size, global state, and width of the architecture. It is shown that the capacity of MPNN needs to grow linearly with the number of nodes so that a network can distinguish trees and quadratically for general connected graphs. Crucially, the derived bounds are applicable not only to worst-case instances but over a portion of all inputs. An empirical study involving 12 tasks of varying difficulty and 420 networks reveals strong alignment between actual performance and theoretical predictions.

研究动机与目标

• 理解圖神經網絡（GNNs）在解決圖同構問題上的理論極限，此問題是圖表示學習中的基本挑戰。
• 識別MPNNs為區分圖中同構類所需的最低通信容量。
• 分析容量的理論邊界是否不僅適用於最壞情況，也適用於輸入圖的顯著部分。
• 透過跨多種圖學習任務的大規模實證研究，驗證理論預測。

提出的方法

• 引入一種稱為通信容量的新度量，定義為MPNN中前向傳播期間節點之間總體的信息交換量。
• 推導出MPNN為區分樹與一般連通圖中同構類所需的通信容量理論下界。
• 將容量形式化為網絡深度、訊息大小、全域狀態與寬度的函數，並證明其在樹中需線性增長，在一般圖中需二次方增長。
• 將容量模型應用於通用消息傳遞架構中，並考慮獨特的節點特徵。
• 透過跨12種多樣化圖學習任務、使用420種不同MPNN架構的實證評估，測試理論預測的契合度。
• 測量不同深度、寬度、訊息大小與全域狀態的架構之表現，以驗證基於容量的預測。

实验结果

研究问题

• RQ1 MPNNs為正確區分樹中同構類，所需的最低通信容量為何？
• RQ2 與樹相比，一般連通圖所需的通信容量如何隨規模變化？
• RQ3 理論上的容量邊界是否不僅適用於最壞情況，也適用於輸入圖的代表性子集？
• RQ4 預測的通信容量與多種圖學習任務中實際MPNN表現之間的相關性有多高？

主要发现

• 為使MPNN能區分樹中同構類，通信容量必須隨節點數線性增長。
• 對於一般連通圖，通信容量必須隨節點數二次方增長，才能實現同構區分。
• 理論上的容量邊界不僅適用於最壞情況，也適用於輸入圖的顯著部分。
• 在12項任務與420個圖中，實證結果顯示基於通信容量的預測與實際MPNN表現高度一致。
• 研究確認MPNN解決圖同構問題的能力根本上受其通信容量約束，而不僅僅是架構深度或寬度的問題。
• 基於容量的理論框架為MPNN在同構相關任務上的表現提供了預測模型。