[论文解读] Deep Hyperedges: a Framework for Transductive and Inductive Learning on Hypergraphs

Josh Payne|arXiv (Cornell University)|Oct 7, 2019

Advanced Graph Neural Networks参考文献 41被引用 11

一句话总结

本文提出 Deep Hyperedges (DHE)，一种新颖的超图归纳与归纳学习框架，通过基于随机游走的嵌入方法，联合利用顶点成员关系与上下文信息。DHE 在基准和非标准超图数据集上均达到最先进或更优的性能，包括在 CORUM 蛋白质复合物数据集上达到 95.53% 的准确率，以及在平衡的 Meetups 数据集上达到 88.31% 的准确率。

ABSTRACT

From social networks to protein complexes to disease genomes to visual data, hypergraphs are everywhere. However, the scope of research studying deep learning on hypergraphs is still quite sparse and nascent, as there has not yet existed an effective, unified framework for using hyperedge and vertex embeddings jointly in the hypergraph context, despite a large body of prior work that has shown the utility of deep learning over graphs and sets. Building upon these recent advances, we propose extit{Deep Hyperedges} (DHE), a modular framework that jointly uses contextual and permutation-invariant vertex membership properties of hyperedges in hypergraphs to perform classification and regression in transductive and inductive learning settings. In our experiments, we use a novel random walk procedure and show that our model achieves and, in most cases, surpasses state-of-the-art performance on benchmark datasets. Additionally, we study our framework's performance on a variety of diverse, non-standard hypergraph datasets and propose several avenues of future work to further enhance DHE.

研究动机与目标

• 为解决当前缺乏统一、高效的超图深度学习框架，以联合建模顶点成员关系与上下文结构的问题。
• 开发一种可扩展、模块化的框架，能够支持超图上的归纳与归纳学习。
• 通过整合排列不变集合学习与上下文感知随机游走，提升超图分类性能。
• 在超越标准基准的多样化、非标准超图数据集上评估该框架。
• 为未来在 DHE 框架中集成卷积与谱方法奠定基础。

提出的方法

• 提出一种新颖的随机游走过程——TaS Walks（过渡感知采样），用于在超图中生成上下文感知的超边嵌入。
• 采用双编码策略：一种用于顶点成员关系（排列不变集合表示），另一种用于上下文结构（通过随机游走实现）。
• 采用类似 DeepSets 的架构，将超边建模为顶点集合，确保成员关系表示的排列不变性。
• 将 TaS Walks 生成的上下文嵌入与基于集合的表示相结合，形成用于分类的联合超边嵌入。
• 通过学习可泛化至未见顶点与超边的表示，支持归纳与归纳学习。
• 采用模块化设计，便于未来集成其他嵌入方法（包括图卷积）以实现扩展。

实验结果

研究问题

• RQ1 统一框架能否联合建模超图中的顶点成员关系与上下文结构，从而提升分类性能？
• RQ2 所提出的 TaS Walks 随机游走过程与现有超图学习中的随机游走及嵌入方法相比表现如何？
• RQ3 同时整合集合成员关系与上下文信息，在非标准、现实世界超图数据集上的性能提升程度如何？
• RQ4 DHE 框架在引入新超边或顶点的归纳学习场景中是否具备良好的泛化能力？
• RQ5 在多样化超图数据分布上，DHE 与基线模型（如 DeepSets + SaT Walks 和 MLP + TaS Walks）相比表现如何？

主要发现

• 在 Cora 引文网络数据集上，DHE 达到 82.29% 的测试准确率，优于该基准上的先前方法。
• 在 PubMed 糖尿病数据集上，DHE 达到 82.35% 的测试准确率，表明其在生物医学超图数据上的强大性能。
• 在 CORUM 蛋白质复合物数据集上，DHE 达到 95.53% 的测试准确率，凸显其在具有高基数信号的生物超图上的有效性。
• 在 Meetups 数据集的平衡版本上，DHE 达到 88.31% 的测试准确率，显著优于基线模型在该社交网络超图上的表现。
• 在非平衡的 DisGeNet 疾病-基因组数据集上，DHE 在未使用特征嵌入的情况下仍达到 40% 的测试准确率，表明其在类别不平衡与线性不可分情况下的鲁棒性。
• 在对比分析中，DHE 在所有数据集上均持续优于或匹配 DeepSets + SaT Walks 和 MLP + TaS Walks 的性能，其表现取决于基数与上下文信息的重要性。