[论文解读] Hyper-SAGNN: a self-attention based graph neural network for hypergraphs

Ruochi Zhang, Yuesong Zou+1 more|arXiv (Cornell University)|Nov 6, 2019

Advanced Graph Neural Networks参考文献 27被引用 31

一句话总结

Hyper-SAGNN 是一种基于自注意力机制的图神经网络，专为超图表示学习而设计，能够处理具有可变大小超边的同质与异质超图。它在节点分类、链接预测以及一项新颖的外部节点识别任务上均优于最先进方法，在单细胞 Hi-C 数据集上也实现了更优的聚类性能，能够捕捉三维基因组组织模式。

ABSTRACT

Graph representation learning for hypergraphs can be used to extract patterns among higher-order interactions that are critically important in many real world problems. Current approaches designed for hypergraphs, however, are unable to handle different types of hypergraphs and are typically not generic for various learning tasks. Indeed, models that can predict variable-sized heterogeneous hyperedges have not been available. Here we develop a new self-attention based graph neural network called Hyper-SAGNN applicable to homogeneous and heterogeneous hypergraphs with variable hyperedge sizes. We perform extensive evaluations on multiple datasets, including four benchmark network datasets and two single-cell Hi-C datasets in genomics. We demonstrate that Hyper-SAGNN significantly outperforms the state-of-the-art methods on traditional tasks while also achieving great performance on a new task called outsider identification. Hyper-SAGNN will be useful for graph representation learning to uncover complex higher-order interactions in different applications.

研究动机与目标

• 为了解决现有超图模型无法以通用方式处理可变大小、异质性超边的局限性。
• 开发一种统一的框架，用于超图表示学习，适用于任意大小超边的同质与异质超图。
• 实现端到端的超边预测，包括未见类型和大小的超边，而无需固定大小输入或将超边分解为成对边。
• 提升下游任务（如节点分类、链接预测及一项新颖的外部节点识别任务）的性能。
• 有效应用于单细胞 Hi-C 数据集，以揭示三维基因组组织结构与细胞群落聚类。

提出的方法

• Hyper-SAGNN 采用自注意力机制，动态聚合每个超边内节点的特征，实现对可变大小超边的灵活建模。
• 该模型采用图注意力网络（GAT）的变体，其中注意力层的输入受最大超边大小的限制，从而确保计算效率。
• 支持静态与动态节点嵌入，其中静态嵌入固定于每个节点，而动态嵌入则按每个超边元组计算。
• 通过直接使用多层感知机（MLPs）建模完整的元组级关系，避免了对超边进行分解。
• 通过联合优化节点级别与超边级别预测任务，实现多任务学习。
• 在 scHi-C 数据上应用该模型时，将染色体接触模式表示为超图，并通过图自编码器架构学习嵌入。

实验结果

研究问题

• RQ1 超图神经网络是否能在不将超边分解为成对边的前提下，有效建模异质性与可变大小的超边？
• RQ2 与固定大小或可分解模型相比，Hyper-SAGNN 中的自注意力机制是否能提升超图表示学习的性能？
• RQ3 Hyper-SAGNN 是否能泛化到未见的超边类型与大小，特别是在结构多样性显著的真实世界数据集中？
• RQ4 Hyper-SAGNN 在新颖任务（如外部节点识别）中的表现如何，该任务旨在检测不属于任何已知超边的节点？
• RQ5 Hyper-SAGNN 在多大程度上能捕捉单细胞 Hi-C 数据中具有生物意义的模式，例如细胞类型特异性的三维基因组组织结构？

主要发现

• 在四个基准网络数据集上，Hyper-SAGNN 在节点分类与链接预测任务中显著优于 DHNE 及其他最先进方法。
• 在新颖的外部节点识别任务中，Hyper-SAGNN 表现优异，证明其具备检测不属于任何已知超边的节点的能力。
• 在单细胞 Hi-C 数据集 Ramani et al. 中，Hyper-SAGNN 达到了 0.83 的最高调整兰德指数（ARI），优于 HiC-Rep/MDS 与 scHiCluster。
• 在 Nagano et al. 数据集中，Hyper-SAGNN 获得了 0.89 的 ACROC 得分，与 HiC-Rep/MDS 相当，表明其在捕捉细胞周期进展模式方面表现强劲。
• 使用 UMAP 与 PCA 可视化学习到的嵌入结果，显示细胞按细胞类型清晰聚类，其中血源细胞系（HAP1、GM12878、K562）被分组在一起。
• 在 Ramani et al. 数据集的监督多分类设置下，Hyper-SAGNN 的 Micro-F1 达到 0.91，Macro-F1 达到 0.87，证实了所学表征的质量。