[论文解读] Deep Hypergraph Structure Learning

Zizhao Zhang, Yifan Feng+2 more|arXiv (Cornell University)|Aug 26, 2022

Advanced Graph Neural Networks被引用 9

一句话总结

该论文提出 DeepHGSL，一种基于新型超图信息瓶颈（HIB）原则的深度超图结构学习框架，通过优化超图结构以减少噪声和缺失连接。通过最小化初始结构中的无关信息，同时保留与任务相关的信号，DeepHGSL 提升了超图神经网络的鲁棒性和性能，在多个基准测试中实现了最先进水平的准确率与稳定性，尤其在结构噪声环境下表现优异。

ABSTRACT

Learning on high-order correlation has shown superiority in data representation learning, where hypergraph has been widely used in recent decades. The performance of hypergraph-based representation learning methods, such as hypergraph neural networks, highly depends on the quality of the hypergraph structure. How to generate the hypergraph structure among data is still a challenging task. Missing and noisy data may lead to "bad connections" in the hypergraph structure and destroy the hypergraph-based representation learning process. Therefore, revealing the high-order structure, i.e., the hypergraph behind the observed data, becomes an urgent but important task. To address this issue, we design a general paradigm of deep hypergraph structure learning, namely DeepHGSL, to optimize the hypergraph structure for hypergraph-based representation learning. Concretely, inspired by the information bottleneck principle for the robustness issue, we first extend it to the hypergraph case, named by the hypergraph information bottleneck (HIB) principle. Then, we apply this principle to guide the hypergraph structure learning, where the HIB is introduced to construct the loss function to minimize the noisy information in the hypergraph structure. The hypergraph structure can be optimized and this process can be regarded as enhancing the correct connections and weakening the wrong connections in the training phase. Therefore, the proposed method benefits to extract more robust representations even on a heavily noisy structure. Finally, we evaluate the model on four benchmark datasets for representation learning. The experimental results on both graph- and hypergraph-structured data demonstrate the effectiveness and robustness of our method compared with other state-of-the-art methods.

研究动机与目标

• 解决超图结构数据中高阶连接（“错误连接”）的噪声和缺失问题，此类问题会降低超图神经网络的性能。
• 开发一种可泛化的深度学习框架，实现端到端的节点表征与超图结构联合学习。
• 提升超图表征学习在结构扰动（如噪声和缺失链接）下的鲁棒性。
• 将信息瓶颈原理扩展至超图设置，提出用于结构优化的超图信息瓶颈（HIB）。
• 实现对现实世界数据中高阶相关性的更准确、更完整的建模，例如社交网络、脑网络和推荐系统。

提出的方法

• 提出一种新型超图信息瓶颈（HIB）原则，旨在最小化节点表征与初始超图结构之间的互信息，同时最大化与目标标签的互信息。
• 将 HIB 原理形式化为可微分损失函数，以指导超图结构与节点表征的端到端训练。
• 集成可学习的关联矩阵并结合注意力机制，动态调整超边连接，增强正确连接，抑制错误连接。
• 在多层网络中实施迭代结构优化，每一层基于当前表征更新超图结构。
• 采用基于阈值 ε 的掩码机制，控制关联矩阵的稀疏性，平衡模型表达能力与噪声抑制效果。
• 使用联合优化目标进行模型训练，平衡结构优化与下游任务性能。

实验结果

研究问题

• RQ1 信息瓶颈原理能否有效扩展至超图结构数据，以提升对噪声和缺失连接的鲁棒性？
• RQ2 通过 HIB 优化超图结构，如何提升超图神经网络的性能与泛化能力？
• RQ3 多层结构学习对超图模型中表征质量与收敛性有何影响？
• RQ4 所提出方法对关键超参数（如 α、β 和 ε）的敏感性如何，其表现是否在不同数据设置中保持稳定？
• RQ5 基于 HIB 的结构学习框架能否在具有不同结构噪声水平的图结构与超图结构数据上实现良好泛化？

主要发现

• 在 Yummly10k 数据集上，DeepHGSL 在多层设置下达到 77.8% 的分类准确率，优于单层版本（75.8%），且随着深度增加，性能持续提升。
• 模型对结构噪声具有强鲁棒性，在 α ≤ 0.7 且 ε 参数适当调优时，能在广泛超参数范围内保持稳定性能。
• 在四个基准数据集（Cora、Citeseer、Yummly10k、DBLP-coauthor）上，所有模型均于 500 次迭代内收敛，标准 GPU 上总训练时间均低于两分钟。
• 通过 HIB 损失目标可验证，该方法有效抑制初始超图中无关连接，减少节点表征中的噪声信息。
• 在图结构与超图结构数据上均观察到性能提升，验证了 DeepHGSL 框架的泛化能力。
• 该框架计算效率高，各数据集总运行时间在 40.7 至 105.3 秒之间，适用于实际应用场景。