[论文解读] Preventing Over-Smoothing for Hypergraph Neural Networks

Guanzi Chen, Jiying Zhang+2 more|arXiv (Cornell University)|Mar 31, 2022

Advanced Graph Neural Networks被引用 7

一句话总结

本文提出 Deep-HGCN，一种深层超图卷积网络，通过初始残差连接和恒等映射防止超图神经网络中的过平滑问题。理论上证明其可模拟任意系数的 k 阶多项式谱滤波器，保持深层网络中节点表征的异质性，并在多个超节点分类与 3D 物体识别基准上实现最先进性能。

ABSTRACT

In recent years, hypergraph learning has attracted great attention due to its capacity in representing complex and high-order relationships. However, current neural network approaches designed for hypergraphs are mostly shallow, thus limiting their ability to extract information from high-order neighbors. In this paper, we show both theoretically and empirically, that the performance of hypergraph neural networks does not improve as the number of layers increases, which is known as the over-smoothing problem. To avoid this issue, we develop a new deep hypergraph convolutional network called Deep-HGCN, which can maintain the heterogeneity of node representation in deep layers. Specifically, we prove that a $k$-layer Deep-HGCN simulates a polynomial filter of order $k$ with arbitrary coefficients, which can relieve the problem of over-smoothing. Experimental results on various datasets demonstrate the superior performance of the proposed model compared to the state-of-the-art hypergraph learning approaches.

研究动机与目标

• 探究超图神经网络（HGCNNs）中是否会发生过平滑现象，类似于其在 GCNs 中的已知影响。
• 通过随机游走收敛性与 Dirichlet 能量最小化分析 HGCNNs 中过平滑现象的根本原因。
• 设计一种真正深层的 HGCNN 架构，以在深层保持表征异质性。
• 提供理论依据，证明所提模型可模拟任意阶次的多项式谱滤波器。
• 在超节点分类与 3D 物体识别任务上，通过实证验证 Deep-HGCN 相较于最先进方法的优越性。

提出的方法

• 引入初始残差连接，以在每一层保留输入特征，从而维持节点表征多样性。
• 通过在可学习权重矩阵中加入单位矩阵实现恒等映射，以减缓 Dirichlet 能量的收敛速度。
• 理论分析证明，k 层 Deep-HGCN 模型可表达具有任意系数的 k 阶多项式谱滤波器。
• 模型架构结合基于超图拉普拉斯的特征传播机制与残差及恒等组件，实现深层学习的稳定性。
• 实证训练采用固定的初始初始值 0.01，dropout 率为 0.5，并设置耐心值为 100 个 epoch 的早停策略。
• 超参数 α 和 β 通过在预定义范围内的网格搜索进行调优，详见附录。

实验结果

研究问题

• RQ1 过平滑是否在超图神经网络中发生？若发生，其根本原因是什么？
• RQ2 能否通过借鉴 GCN 进展的架构改进来缓解 HGCNNs 中的过平滑问题？
• RQ3 深层 HGCNN 在不断增加深度时，能在多大程度上保持判别性节点表征？
• RQ4 所提模型是否能模拟任意阶次的多项式谱滤波器？该特性是否可有效防止过平滑？
• RQ5 在多样化的超图学习任务中，Deep-HGCN 与最先进方法相比，在性能与鲁棒性方面表现如何？

主要发现

• 原始 HGNN 模型存在严重的过平滑问题，性能在 2–4 层时达到峰值，随后迅速下降。
• 在 Cora、Citeseer、Pubmed、NTU2012 和 ModelNet40 数据集上，Deep-HGCN 分别在 64、8、16、64、32 和 64 层时达到最佳准确率，表现出随深度增加的持续性能提升。
• 在 NTU2012 数据集上，Deep-HGCN 在 64 层时达到 80.42% 的准确率，而 HGNN 仅为 5.25%，展现出显著的性能优势。
• 在 ModelNet40 上，Deep-HGCN 在 64 层时达到 88.24% 的准确率，远超 HGNN 在相同深度下的 4.13%。
• t-SNE 可视化结果表明，Deep-HGCN 即使在深层仍能保持类别判别性节点表征，而 HGNN 的表征则发生坍塌。
• 消融实验表明，初始残差连接与恒等映射均不可或缺，二者结合可实现最佳性能与最有效的过平滑抑制。