[论文解读] Equivariant Hypergraph Diffusion Neural Operators

Peihao Wang, Shenghao Yang+3 more|arXiv (Cornell University)|Jul 14, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

该论文提出ED-HNN，一种新型超图神经网络，通过结合超图的星型展开与标准消息传递神经网络，可证明性地近似连续等变超图扩散算子。该模型在九个真实世界超图数据集上实现最先进性能，统一优于基线模型，在四个数据集上准确率提升超过2%，同时支持高效、深层架构，适用于异质性超图。

ABSTRACT

Hypergraph neural networks (HNNs) using neural networks to encode hypergraphs provide a promising way to model higher-order relations in data and further solve relevant prediction tasks built upon such higher-order relations. However, higher-order relations in practice contain complex patterns and are often highly irregular. So, it is often challenging to design an HNN that suffices to express those relations while keeping computational efficiency. Inspired by hypergraph diffusion algorithms, this work proposes a new HNN architecture named ED-HNN, which provably represents any continuous equivariant hypergraph diffusion operators that can model a wide range of higher-order relations. ED-HNN can be implemented efficiently by combining star expansions of hypergraphs with standard message passing neural networks. ED-HNN further shows great superiority in processing heterophilic hypergraphs and constructing deep models. We evaluate ED-HNN for node classification on nine real-world hypergraph datasets. ED-HNN uniformly outperforms the best baselines over these nine datasets and achieves more than 2\%$\uparrow$ in prediction accuracy over four datasets therein.

研究动机与目标

• 为解决使用神经网络建模复杂、不规则高阶关系的超图挑战。
• 设计一种具有可证明表达性的超图神经网络（HNN），用于连续等变扩散算子。
• 实现高效、可扩展且深层的架构设计，无需依赖辅助节点或复杂预处理。
• 克服现有HNN缺乏表达性或因不可扩展实现导致高计算成本的局限。

提出的方法

• 该方法利用超图的星型展开（双分图表示）将超边转换为节点-超边对，使图神经网络中的标准消息传递成为可能。
• 提出一种神经网络参数化方法，可证明性地近似任意连续置换等变的超边扩散算子。
• 通过堆叠多层共享权重的消息传递模块构建模型架构，形成深层、端到端可训练模型。
• 在表达性证明中避免使用等变多项式作为桥梁，通过连续函数的复合实现对连续等变集合函数的精确表示。
• 利用来自超边势能函数（如CE、TV、LEC）的梯度更新生成合成扩散数据用于训练。
• 实现与PyTorch Geometric等标准GNN框架兼容，确保高效GPU利用与可扩展性。

实验结果

研究问题

• RQ1 能否设计一种超图神经网络，使其可证明性地近似任意连续等变超图扩散算子？
• RQ2 如何在不使用辅助节点或高成本预处理的前提下，利用标准消息传递框架高效实现此类模型？
• RQ3 该模型在异质性超图设置下是否仍保持强性能，即同一超边中的节点属于不同类别？
• RQ4 该模型的表达能力在隐藏维度较低时，能在多大程度上实现良好泛化？
• RQ5 与HyperSAGE和LEGCN等现有HNN相比，该模型在效率和可扩展性方面表现如何？

主要发现

• ED-HNN在九个真实世界超图数据集上统一优于所有基线模型，在其中四个数据集上准确率提升超过2%。
• 在Pubmed数据集上，ED-HNN隐藏维度为64时达到88.76%准确率，与512宽的AllSet模型性能相当，表明其在低容量下具备更优表达能力。
• 该模型展现出强大的泛化与稳定性，即使在隐藏维度有限的情况下仍保持高性能，如消融研究所示。
• ED-HNN的训练与推理速度显著快于HyperSAGE和LEGCN，Coras数据集上训练时间相比HyperSAGE减少90%以上。
• 该模型具有高度可扩展性与高效性，Coras数据集上每轮训练时间仅0.15秒，远低于HyperSAGE的43.93秒，得益于高效的GPU可并行化消息传递。
• ED-HNN在异质性设置下表现出鲁棒性，由于其固有的等变性，能有效建模多类别超边。