[论文解读] HypeBoy: Generative Self-Supervised Representation Learning on Hypergraphs

Sunwoo Kim, Shinhwan Kang+4 more|arXiv (Cornell University)|Mar 31, 2024

Text and Document Classification Technologies被引用 4

一句话总结

HypeBoy 提出了一种基于超边填充任务的新型生成式自监督学习方法，用于超图学习，理论上与节点分类任务相关联，实现了鲁棒且通用的表示学习。该方法在11个基准数据集上超越了16种基线模型，通过缓解表示坍塌、非均匀性以及对邻近性的过度强调，提升了性能。

ABSTRACT

Hypergraphs are marked by complex topology, expressing higher-order interactions among multiple nodes with hyperedges, and better capturing the topology is essential for effective representation learning. Recent advances in generative self-supervised learning (SSL) suggest that hypergraph neural networks learned from generative self supervision have the potential to effectively encode the complex hypergraph topology. Designing a generative SSL strategy for hypergraphs, however, is not straightforward. Questions remain with regard to its generative SSL task, connection to downstream tasks, and empirical properties of learned representations. In light of the promises and challenges, we propose a novel generative SSL strategy for hypergraphs. We first formulate a generative SSL task on hypergraphs, hyperedge filling, and highlight its theoretical connection to node classification. Based on the generative SSL task, we propose a hypergraph SSL method, HypeBoy. HypeBoy learns effective general-purpose hypergraph representations, outperforming 16 baseline methods across 11 benchmark datasets.

研究动机与目标

• 为解决超图中缺乏有效的生成式自监督学习策略，特别是设计一个有意义的预训练任务。
• 建立所提出的生成任务与下游节点分类任务之间的理论联系。
• 开发一种能够学习通用超图表示的方法，具备理想的实证特性，如避免维度坍塌和表示非均匀性。
• 在潜在超边数量呈指数增长的背景下，确保计算效率。
• 在多种超图结构、标签划分方式以及异构超图设置下，验证该方法的鲁棒性。

提出的方法

• 本文提出了一种新的生成式自监督学习任务——超边填充，模型需预测超边中缺失的节点。
• HypeBoy 采用对比学习目标，对齐由超边填充任务生成的正样本对与负样本对的表示。
• 采用节点置换增强策略生成多样化的负样本，提升在非同质化条件下的鲁棒性。
• 引入双对比学习机制，防止表示坍塌并增强特征多样性。
• 应用对称对比损失函数，促使来自同一超边的正样本对靠近，而来自不同超边的负样本对分离。
• 模型在超边填充任务上进行预训练，并在下游节点分类任务上使用标注数据进行微调。

实验结果

研究问题

• RQ1 哪种生成式自监督学习任务最适合超图表示学习？其与下游节点分类任务之间存在怎样的理论关联？
• RQ2 如何设计一种超图自监督学习方法，以避免维度坍塌、非均匀性及对邻近性的过度强调等常见失败模式？
• RQ3 所提出方法在多种超图数据集（包括异构图与非同质图）上的表现如何？
• RQ4 在不同节点标签划分设置下，该方法是否具备良好的泛化能力？在同质性被破坏时是否仍保持鲁棒性？
• RQ5 超边填充任务在现实世界推荐系统中的实际应用场景有哪些？

主要发现

• HypeBoy 在11个基准超图数据集的节点分类任务中超越了16种基线方法，实现了最先进性能。
• 在 Citeseer 数据集上，HypeBoy 在每类5个训练节点的设置下达到 63.1% 的准确率（±4.6），优于次优方法 TriCL 的 60.1%。
• 在每类10个训练节点的设置下，HypeBoy 在 Citeseer 上达到 67.7% 的准确率，显著优于 UniGCNII（62.7%）及其他基线方法。
• HypeBoy 在非同质化设置下表现出更优的鲁棒性，当节点同质性被破坏时性能下降最小。
• 在异构 ACM 数据集上，HypeBoy 达到 41.7% 的准确率（±2.6），优于所有基线方法，包括 HyperGCL（40.8%）和 TriCL（40.3%）。
• 该方法在多种标签划分设置下均保持优异性能，证实其泛化能力超越特定数据划分。