[论文解读] A Hypergraph Neural Network Framework for Learning Hyperedge-Dependent Node Embeddings

Ryan Aponte, Ryan A. Rossi+7 more|arXiv (Cornell University)|Dec 28, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出超图神经网络（HNN），一种新颖的框架，通过联合学习超边嵌入和每个节点的多种超边相关节点嵌入，实现在超图中上下文感知的高阶关系建模。HNN在多种数据集上实现了最先进性能，超边预测任务中平均AUC提升7.72%，节点分类任务中平均AUC提升11.37%。

ABSTRACT

In this work, we introduce a hypergraph representation learning framework called Hypergraph Neural Networks (HNN) that jointly learns hyperedge embeddings along with a set of hyperedge-dependent embeddings for each node in the hypergraph. HNN derives multiple embeddings per node in the hypergraph where each embedding for a node is dependent on a specific hyperedge of that node. Notably, HNN is accurate, data-efficient, flexible with many interchangeable components, and useful for a wide range of hypergraph learning tasks. We evaluate the effectiveness of the HNN framework for hyperedge prediction and hypergraph node classification. We find that HNN achieves an overall mean gain of 7.72% and 11.37% across all baseline models and graphs for hyperedge prediction and hypergraph node classification, respectively.

研究动机与目标

• 为解决现有超图神经网络对每个节点仅分配单一、统一嵌入的局限性，无论其处于何种超边上下文。
• 通过为每个节点学习多种依赖于特定超边的嵌入，实现更准确且上下文敏感的节点表示。
• 支持数据高效、灵活且归纳式的超图学习，适用于包含噪声或不完整超边的现实任务。
• 在基于异质超图的HTML文档的样式推荐等新型应用场景中，展示该框架的实用性。

提出的方法

• HNN通过端到端、迭代的训练过程，联合优化超边嵌入与一组超边相关节点嵌入。
• 每个节点关联多个嵌入，每个嵌入均针对其参与的特定超边进行条件化。
• 该框架不要求节点存在于超边中即可计算其在该超边上的嵌入，从而支持对缺失或未见关系的推理。
• 支持归纳学习，并可同时整合节点与超边上的特征，增强对多样化下游任务的灵活性。
• 在推荐任务中，使用评分函数（如余弦相似度）计算片段与样式实体之间的相关性。
• 模型采用掩码训练目标进行训练，并通过AUC、HR@K和nDCG等指标在超边预测与样式推荐任务中进行评估。

实验结果

研究问题

• RQ1 超图神经网络能否为每个节点学习多种依赖于单个超边的上下文特定嵌入，从而提升表示质量？
• RQ2 联合学习超边嵌入与超边相关节点嵌入对超边预测与节点分类性能有何影响？
• RQ3 所提出的框架能否泛化到包含不完整或任意大小超边的真实世界噪声超图？
• RQ4 HNN框架在归纳式超图学习任务（如超链接预测与样式推荐）中是否优于现有基线模型？
• RQ5 HNN能否在营销邮件中的设计风格推荐等新型应用中有效应用？

主要发现

• 在所有基线模型与图的超边预测任务中，HNN实现了7.72%的平均AUC增益。
• 在超图节点分类任务中，HNN在所有对比模型与数据集上实现了11.37%的平均AUC增益。
• 在按钮样式推荐任务中，HNN的HR@1达到24.3%，显著优于次佳模型HyperGCN的0.8%。
• 在背景样式推荐任务中，HNN的HR@1达到18.1%，而所有基线模型在HR@10时均未超过3.1%。
• 该模型展现出强大的泛化能力，在两项推荐任务中，所有K值下的nDCG@K得分均为最高。
• 即使在小K值（如K=1）时，HNN也表现出色，而随机与流行度基线模型在K=1时表现均为0.00%，凸显HNN在Top-1推荐中的精确性。