[论文解读] Augmentations in Hypergraph Contrastive Learning: Fabricated and Generative

Tianxin Wei, Yuning You+4 more|PubMed|Oct 7, 2022

Multimodal Machine Learning Applications参考文献 6被引用 32

一句话总结

本论文提出 HyperGCL，一种用于超图的对比学习框架，采用伪造与生成增强以在少标签设置下提高泛化能力，显示高阶超边扰动与变分超图自编码器带来显著性能提升。

ABSTRACT

This paper targets at improving the generalizability of hypergraph neural networks in the low-label regime, through applying the contrastive learning approach from images/graphs (we refer to it as <b>HyperGCL</b>). We focus on the following question: <i>How to construct contrastive views for hypergraphs via augmentations?</i> We provide the solutions in two folds. First, guided by domain knowledge, we <b>fabricate</b> two schemes to augment hyperedges with higher-order relations encoded, and adopt three vertex augmentation strategies from graph-structured data. Second, in search of more effective views in a data-driven manner, we for the first time propose a hypergraph generative model to <b>generate</b> augmented views, and then an end-to-end differentiable pipeline to jointly learn hypergraph augmentations and model parameters. Our technical innovations are reflected in designing both fabricated and generative augmentations of hypergraphs. The experimental findings include: (i) Among fabricated augmentations in HyperGCL, augmenting hyperedges provides the most numerical gains, implying that higher-order information in structures is usually more downstream-relevant; (ii) Generative augmentations do better in preserving higher-order information to further benefit generalizability; (iii) HyperGCL also boosts robustness and fairness in hypergraph representation learning. Codes are released at https://github.com/weitianxin/HyperGCL.

研究动机与目标

• 在少样本/低标签条件下，解决超图神经网络的泛化挑战。
• 设计能够保留高阶信息的有效超图对比视图。
• 开发手工（伪造）与数据驱动（生成）增强方案。
• 提供一个端到端可微分的管道，以同时学习增强与模型参数。

提出的方法

• 提出两种基于伪造的增强方案：在双分界图表示中扰动超边与扰动边，以及三种顶点聚焦的增强（丢弃、掩蔽、子图）。
• 引入一个超图生成模型（VHGAE），通过变分推理对顶点和超边表示进行编码/解码，以学习增强。
• 使用 Gumbel-Softmax 使超边扰动的采样可微分，以实现端到端训练。
• 采用多任务学习设置，将对比损失与监督目标结合，实现对增强与模型参数的联合学习。
• 可选地将对比扩展到 clique-expanded 图，以评估高阶信息的保留情况。

实验结果

研究问题

• RQ1 如何为超图构建对比视图以保留高阶信息？
• RQ2 在 HyperGCL 中，基于伪造超边的增强是否优于顶点聚焦的增强？
• RQ3 数据驱动的生成式增强模型是否能在手工增强之上进一步提升超图表示学习？
• RQ4 通过可微分采样联合学习增强与模型参数是否能提升泛化能力、鲁棒性和公平性？

主要发现

• 扰动超边的伪造增强（A2）在大多数数据集上始终优于基本的超边扰动（A1），强调了高阶信息的重要性。
• 生成式增强（A6）在大多数数据集上优于伪造增强，表明对高阶结构的更好保留和更强的泛化能力。
• HyperGCL 提高对对抗性攻击的鲁棒性，并在若干数据集上提升公平性指标。
• 带对比损失的多任务学习（MTL）通常实现最佳性能，在大多数数据集上超越了预训练方案。
• 在转换后的 clique-expanded 图上进行对比的效果低于基于 SetGNN 的 HyperGNN 方法，凸显了超图原生对比学习的价值。