[论文解读] HyperSAGE: Generalizing Inductive Representation Learning on Hypergraphs

Devanshu Arya, Deepak Gupta+2 more|arXiv (Cornell University)|Oct 9, 2020

Advanced Graph Neural Networks参考文献 33被引用 7

一句话总结

HyperSAGE 提出了一种新颖的归纳式超图神经网络，通过广义均值聚合与邻域采样，实现超边内和超边间的两级消息传递，从而实现准确、可扩展且可泛化的节点表征学习。其在基准数据集上的表现优于最先进方法，并能有效泛化到未见节点，在动态超图设置中展现出更优的稳定性和性能。

ABSTRACT

Graphs are the most ubiquitous form of structured data representation used in machine learning. They model, however, only pairwise relations between nodes and are not designed for encoding the higher-order relations found in many real-world datasets. To model such complex relations, hypergraphs have proven to be a natural representation. Learning the node representations in a hypergraph is more complex than in a graph as it involves information propagation at two levels: within every hyperedge and across the hyperedges. Most current approaches first transform a hypergraph structure to a graph for use in existing geometric deep learning algorithms. This transformation leads to information loss, and sub-optimal exploitation of the hypergraph's expressive power. We present HyperSAGE, a novel hypergraph learning framework that uses a two-level neural message passing strategy to accurately and efficiently propagate information through hypergraphs. The flexible design of HyperSAGE facilitates different ways of aggregating neighborhood information. Unlike the majority of related work which is transductive, our approach, inspired by the popular GraphSAGE method, is inductive. Thus, it can also be used on previously unseen nodes, facilitating deployment in problems such as evolving or partially observed hypergraphs. Through extensive experimentation, we show that HyperSAGE outperforms state-of-the-art hypergraph learning methods on representative benchmark datasets. We also demonstrate that the higher expressive power of HyperSAGE makes it more stable in learning node representations as compared to the alternatives.

研究动机与目标

• 解决传统超图表征学习方法无法泛化到未见节点的局限性。
• 克服将超图转化为图时导致的信息损失，从而更优地利用高阶关系。
• 开发一种归纳式框架，实现在动态或部分观测超图上的节点表征泛化。
• 通过广义均值聚合与邻域采样，实现灵活、可扩展且稳定的节点表征学习。
• 证明超图专用学习方法在准确性和鲁棒性方面优于基于图简化的方法。

提出的方法

• HyperSAGE 采用两级消息传递机制：首先在每个超边内聚合特征，然后在超边之间进行聚合。
• 使用广义均值聚合器（M_p）进行邻域聚合，其中超参数 p 控制聚合类型（例如：最小值、最大值、算术平均、几何平均）。
• 应用邻域采样以降低计算成本并提升泛化能力，每个超边固定选择 α 个邻居。
• 该模型设计为归纳式，通过学习邻域特征上的参数化函数，实现对先前未见节点的推理。
• 该框架与现有基于图的模型（如 GraphSAGE 和 GCN）兼容，支持在图和超图上统一学习。
• 消息传递过程可微分且端到端可训练，采用可学习的聚合器和共享的权重矩阵进行特征变换。

实验结果

研究问题

• RQ1 归纳式超图学习框架是否能在动态超图中将节点表征泛化到先前未见的节点？
• RQ2 超图中的两级消息传递机制是否在捕捉高阶关系方面优于基于图简化的方法？
• RQ3 不同聚合函数（如广义均值）对模型性能和稳定性有何影响？
• RQ4 邻域采样在多大程度上改善了泛化能力并减少了过拟合？
• RQ5 HyperSAGE 是否能在标准超图基准数据集上实现最先进性能，同时保持归纳能力？

主要发现

• 在 DBLP 数据集中，HyperSAGE 在已见节点上达到 78.1% 的准确率，在未见节点上达到 73.1%，显著优于基线方法 MLP+HLR（分别为 64.5% 和 58.7%）。
• 在 PubMed 数据集中，HyperSAGE 使用 p=0.01 时，在已见节点上准确率达到 81.0%，在未见节点上达到 80.4%，超过基线方法 MLP+HLR（分别为 66.8% 和 62.4%）。
• 在 Citeseer 数据集中，HyperSAGE 使用 p=0.01 时，在已见节点上准确率为 69.2%，在未见节点上为 67.1%，而基线方法分别为 60.1% 和 58.2%。
• 聚合函数 p 的选择显著影响性能：在 PubMed 上，p=0.01 表现最佳，而更高的 p 值（如 p=5）会降低性能。
• 邻域采样提升了泛化能力，PubMed 上 α=5 时性能最优；当 α=10 时性能下降，原因在于随机性减少和噪声暴露增加。
• HyperSAGE 在各数据集中均保持了已见节点与未见节点之间的一致性能，证实其具备强大的归纳泛化能力。