[论文解读] Message passing all the way up

Petar Veličković|arXiv (Cornell University)|Feb 22, 2022

Advanced Graph Neural Networks被引用 15

一句话总结

本文主张，大多数声称已'超越消息传递'的现代图神经网络，实际上仍依赖于经过修改的图结构上的消息传递，因此并未真正脱离该框架。本文提出应将误导性的术语'超越消息传递'替换为'增强型消息传递'，以更准确地反映这些方法仍本质上使用成对消息传递，只是在变换后的图上或通过增强的消息函数实现。

ABSTRACT

The message passing framework is the foundation of the immense success enjoyed by graph neural networks (GNNs) in recent years. In spite of its elegance, there exist many problems it provably cannot solve over given input graphs. This has led to a surge of research on going "beyond message passing", building GNNs which do not suffer from those limitations -- a term which has become ubiquitous in regular discourse. However, have those methods truly moved beyond message passing? In this position paper, I argue about the dangers of using this term -- especially when teaching graph representation learning to newcomers. I show that any function of interest we want to compute over graphs can, in all likelihood, be expressed using pairwise message passing -- just over a potentially modified graph, and argue how most practical implementations subtly do this kind of trick anyway. Hoping to initiate a productive discussion, I propose replacing "beyond message passing" with a more tame term, "augmented message passing".

研究动机与目标

• 挑战在图表示学习中，尤其是在教育语境下，'超越消息传递'这一术语的广泛使用。
• 证明任何具有表达能力的图神经网络函数，均可通过在修改后的图结构上进行成对消息传递来表达。
• 表明即使使用复杂操作的先进图神经网络，实际上也以伪装形式实现了消息传递。
• 倡导使用更精确的术语，以承认消息传递在现代图神经网络中的持续核心地位。
• 发起一场关于术语的社区范围讨论，以提升图神经网络教学与研究中的清晰度与准确性。

提出的方法

• 将具有表达能力的图神经网络重新表述为在变换图上进行的消息传递，其中新节点或边代表高阶结构（例如子图、k元组）。
• 通过数学构造证明，任何可通过高阶或等变图神经网络计算的函数，均可表达为在修改图上的成对消息传递。
• 应用线图和基于边的节点概念，将矩阵运算（例如 Maron 等人的基础层）表示为在边节点上的消息传递。
• 证明即使复杂的操作如排列敏感聚合或张量基消息函数，也可通过结构化节点/边扩展实现消息传递的模拟。
• 通过结构变换的视角分析现有方法（例如高阶图神经网络、等变图神经网络），揭示其隐藏的等价性。
• 提出'增强型消息传递'作为'超越消息传递'的更准确、更不易误导的替代术语。

实验结果

研究问题

• RQ1 所有具有表达能力的图神经网络函数是否都可以仅通过在修改图结构上的成对消息传递来表达？
• RQ2 在多大程度上，'超越消息传递'的图神经网络实际上是以伪装形式依赖于消息传递原语？
• RQ3 为何'超越消息传递'这一术语具有误导性，尤其是对图表示学习的初学者而言？
• RQ4 当通过结构变换的视角审视时，高阶图神经网络与等变图神经网络与消息传递框架有何关联？
• RQ5 是否存在一种替代术语，能更准确地反映现代高表达能力图神经网络的实际机制，同时不过分夸大其与消息传递的脱离程度？

主要发现

• 原则上，任何在图上可计算的函数，均可仅通过在修改图结构上的成对消息传递来表达。
• 许多强大的图神经网络，包括使用高阶或等变操作的模型，实际上通过结构修改（如边节点或子图组件）实现了消息传递。
• 即使复杂的操作如排列敏感聚合或等变图神经网络中的矩阵乘法，也可通过在扩展节点集上的消息传递实现模拟。
• 术语'超越消息传递'具有误导性，因为它暗示了与消息传递的根本性脱离，而大多数当前方法并未真正实现这一点。
• 提出的术语'增强型消息传递'更能反映现实：现代图神经网络通过结构或功能上的增强来扩展消息传递，而非取代它。
• 从'超越'到'增强'的消息传递这一概念转变，可提升教学效果，并更清晰地阐明图表示学习的研究方向。