[论文解读] HNHN: Hypergraph Networks with Hyperedge Neurons

Yihe Dong, Will Sawin+1 more|arXiv (Cornell University)|Jun 22, 2020

Advanced Graph Neural Networks参考文献 22被引用 47

一句话总结

HNHN 引入了一种超图卷积框架，该框架对超节点和超边都应用非线性激活并分配表示，同时引入灵活的归一化方案，在真实数据集上实现比最先进方法更高的准确性和更快的速度。

ABSTRACT

Hypergraphs provide a natural representation for many real world datasets. We propose a novel framework, HNHN, for hypergraph representation learning. HNHN is a hypergraph convolution network with nonlinear activation functions applied to both hypernodes and hyperedges, combined with a normalization scheme that can flexibly adjust the importance of high-cardinality hyperedges and high-degree vertices depending on the dataset. We demonstrate improved performance of HNHN in both classification accuracy and speed on real world datasets when compared to state of the art methods.

研究动机与目标

• 通过将超边作为一等实体并赋予专用表示，激发对超图的学习。
• 开发一种基于关联矩阵传播的超图卷积方法，在超节点和超边上均使用非线性激活。
• 引入一套灵活的归一化方案，根据数据集需要在高基数的超边和高度数的顶点之间进行平衡。
• 将 HNHN 与 clique 展开、star 展开及现有的超图学习方法进行比较，以展示在准确性和效率方面的优势。

提出的方法

• 用关联矩阵 A 定义超图，并为超节点 X_V 和超边 X_E 学习独立表示。
• 更新规则：X_E' = sigma(A^T X_V W_E + b_E) 和 X_V' = sigma(A X_E' W_V + b_V)。
• 在超节点和超边上同时引入非线性激活，以捕捉超边特定的非线性特性。
• 引入以 alpha 和 beta 为参数的归一化方案 D_{E,l,alpha}, D_{V,r,alpha}, D_{V,l,alpha}, D_{E,r,alpha}，用于按度对超边和顶点进行加权。
• 提供一种实际实现：从超图邻域计算归一化因子，而无需显式形成关联矩阵 A。
• 讨论与 clique 展开和 star 展开的关系，并展示 HNHN 如何在这些展开上推广图卷积，既可含有非线性也可无非线性。
• 详细描述训练过程、超参数和收敛性注意事项（例如使用 Adam、dropout、ReLU）。

实验结果

研究问题

• RQ1 超边特定的非线性激活是否能在超图结构数据上提升预测性能，超越对 clique/star 展开进行的传统图卷积？
• RQ2 灵活的、基于度的归一化对在具有不同超边大小和节点度的超图上的学习有何影响？
• RQ3 在标准数据集上，与现有的超图卷积方法（如 HyperGCN、HGNN）相比，HNHN 在准确性和速度方面有哪些比较优势？
• RQ4 在如超节点预测和超边预测等学习任务中，保持超节点和超边的分离表示是否有益？

主要发现

• HNHN 在若干基准数据集的超节点分类任务中优于最先进的方法，获得显著的准确度提升。
• 由于避免显式实例化关联矩阵并使用高效的基于 GPU 的计算，该模型提供了具有竞争力的训练速度。
• 在超节点和超边上同时使用非线性激活，比线性或单一实体方法具有更强的表达能力。
• 具有可调 alpha 和 beta 参数的归一化方案对性能有显著影响，默认的等权重归一化（alpha=beta=0）并不总是最优。
• HNHN 使得超边表示的同时学习成为可能，从而在超边预测方面与节点预测并驾齐驱。