[论文解读] You are AllSet: A Multiset Function Framework for Hypergraph Neural Networks

Eli Chien, Chao Pan+2 more|arXiv (Cornell University)|Jun 24, 2021

Advanced Graph Neural Networks被引用 23

一句话总结

本文提出 AllSet，一种用于超图神经网络的新型多重集函数框架，通过将传播规则建模为可学习多重集函数的复合，推广了现有方法。通过整合 Deep Sets 和 Set Transformers，AllSet 在 13 个基准数据集上实现了最先进性能，在节点分类任务中，Yelp 和 Zoo 数据集上的性能优于先前方法约 4%，Walmart 数据集上优于 3%。

ABSTRACT

Hypergraphs are used to model higher-order interactions amongst agents and there exist many practically relevant instances of hypergraph datasets. To enable efficient processing of hypergraph-structured data, several hypergraph neural network platforms have been proposed for learning hypergraph properties and structure, with a special focus on node classification. However, almost all existing methods use heuristic propagation rules and offer suboptimal performance on many datasets. We propose AllSet, a new hypergraph neural network paradigm that represents a highly general framework for (hyper)graph neural networks and for the first time implements hypergraph neural network layers as compositions of two multiset functions that can be efficiently learned for each task and each dataset. Furthermore, AllSet draws on new connections between hypergraph neural networks and recent advances in deep learning of multiset functions. In particular, the proposed architecture utilizes Deep Sets and Set Transformer architectures that allow for significant modeling flexibility and offer high expressive power. To evaluate the performance of AllSet, we conduct the most extensive experiments to date involving ten known benchmarking datasets and three newly curated datasets that represent significant challenges for hypergraph node classification. The results demonstrate that AllSet has the unique ability to consistently either match or outperform all other hypergraph neural networks across the tested datasets.

研究动机与目标

• 开发一种通用且可学习的超图神经网络框架，涵盖现有传播规则。
• 解决超图学习中基于启发式传播方案的局限性，特别是基于团展开的方法对高阶关系造成的失真。
• 通过多重集函数复合，实现端到端学习最优传播规则，以适应特定数据集和任务。
• 将 Deep Sets 和 Set Transformers 的表达能力整合到超图神经网络中，以提升建模灵活性。
• 在包含 3 个新整理数据集在内的 13 个数据集上进行全面评估，以证明其优越的泛化能力和性能。

提出的方法

• AllSet 将超图神经网络层表示为两个多重集函数的复合，从而为多样化的传播规则提供统一框架。
• 该框架将消息传递神经网络（MPNN）推广至超图，并将基于团展开（CE-based）和张量方法（如 Z-特征值问题）作为特例包含在内。
• 提出了两种新型架构：AllDeepSets 和 AllSetTransformer，二者均可端到端训练，并与现有 GNN 框架兼容。
• AllDeepSets 使用多重集池化与前馈网络，而 AllSetTransformer 则采用受 Set Transformers 启发的注意力机制，实现更丰富的特征聚合。
• 该方法直接从数据中学习传播规则，避免使用固定启发式方案，从而实现针对任务和数据集的优化。
• 该框架在 13 个数据集上进行了广泛的消融实验和超参数调优，包括 Cora、Citeseer、Pubmed、Yelp、Walmart 等。

实验结果

研究问题

• RQ1 能否设计一个统一框架，同时涵盖基于团展开和张量方法的超图传播规则？
• RQ2 多重集函数能否有效用于学习超图神经网络的最优、数据驱动传播规则？
• RQ3 将 Deep Sets 和 Set Transformers 整合到超图学习中，是否能显著提升建模能力和性能？
• RQ4 所提出的框架能否在多样化的超图数据集（包括新整理的数据集）上实现一致的性能提升？
• RQ5 AllSet 在多个基准和真实世界数据集上的性能与现有最先进超图神经网络相比如何？

主要发现

• AllSet 在所有 13 个测试数据集上均达到最先进性能，包括 10 个公开数据集和 3 个新整理的基准。
• 在 Yelp 和 Zoo 数据集上，AllSet 相较于现有超图神经网络和异质 GNN 基线模型，性能提升接近 4%。
• 在 Walmart 数据集上，AllSet 相较于先前方法实现 3% 的性能增益，表明其在大规模真实世界数据上的鲁棒性。
• AllSet 框架成功将 MPNN 推广至超图，并将 HyperGCN、HGNN、HCHA、HNHN 和 HyperSAGE 等现有方法作为特例包含在内。
• AllDeepSets 和 AllSetTransformer 在多样化数据集上表现优异，后者在 ModelNet40 和 20News 等复杂高维数据上取得更优结果。
• 该框架计算高效且可扩展，仅一个模型变体在 20News 上因内存溢出（OOM）未能收敛，其余模型均实现稳定训练。