[论文解读] Deep Contrastive Graph Representation via Adaptive Homotopy Learning

Rui Zhang, Chengjun Lu+2 more|arXiv (Cornell University)|Jun 17, 2021

Advanced Graph Neural Networks参考文献 51被引用 4

一句话总结

本文提出自适应同伦对比学习（AHCL），一种新颖的框架，通过利用麦克劳林对偶性自适应学习软标签，在无监督设置下实现深度对比表示学习，消除了对先验标签的依赖。该方法从自适应亲和矩阵构建深度拉普拉斯图，无需任何监督或人工超参数调优，即可在基准数据集上实现最先进水平的聚类性能。

ABSTRACT

Homotopy model is an excellent tool exploited by diverse research works in the field of machine learning. However, its flexibility is limited due to lack of adaptiveness, i.e., manual fixing or tuning the appropriate homotopy coefficients. To address the problem above, we propose a novel adaptive homotopy framework (AH) in which the Maclaurin duality is employed, such that the homotopy parameters can be adaptively obtained. Accordingly, the proposed AH can be widely utilized to enhance the homotopy-based algorithm. In particular, in this paper, we apply AH to contrastive learning (AHCL) such that it can be effectively transferred from weak-supervised learning (given label priori) to unsupervised learning, where soft labels of contrastive learning are directly and adaptively learned. Accordingly, AHCL has the adaptive ability to extract deep features without any sort of prior information. Consequently, the affinity matrix formulated by the related adaptive labels can be constructed as the deep Laplacian graph that incorporates the topology of deep representations for the inputs. Eventually, extensive experiments on benchmark datasets validate the superiority of our method.

研究动机与目标

• 为克服传统同伦方法缺乏自适应性的问题，后者依赖于固定且手动调优的系数。
• 使基于同伦的算法能够在无先验标签信息的无监督表示学习中有效运行。
• 开发一种框架，自适应地从数据中学习软标签与亲和关系，构建能捕捉学习表示拓扑结构的深度拉普拉斯图。
• 通过集成自适应权重学习与自编码器重建，改进对比学习中的深度特征提取与表示学习。

提出的方法

• 提出一种自适应同伦框架（AH），利用麦克劳林对偶性自动学习最优同伦参数，替代人工系数调优。
• 将AH框架应用于对比学习，得到自适应同伦对比学习（AHCL），实现端到端的无监督软标签学习。
• 利用来自自适应软标签的亲和矩阵构建深度拉普拉斯图，编码深度表示的拓扑结构。
• 采用孪生编码器结合残差块架构提取深度嵌入，随后通过非平衡自编码器重建输入数据。
• 使用均方误差（MSE）作为重建损失，以防止特征坍塌并稳定训练过程。
• 将自适应亲和矩阵作为可学习的、数据驱动的相似性度量，引导表示学习。

实验结果

研究问题

• RQ1 能否使基于同伦的方法具备自适应能力，从而消除在表示学习中对预设系数的依赖？
• RQ2 能否通过自适应标签学习，将对比学习有效从弱监督设置迁移至完全无监督设置？
• RQ3 能否从深度特征中导出的自适应软标签构成有意义且具有拓扑信息的拉普拉斯图？
• RQ4 将自适应同伦与自编码器重建相结合，是否能改善特征表示并防止特征坍塌？

主要发现

• AHCL在五个基准数据集上均达到最先进性能，在所有数据集上均优于九种基线方法，ACC与NMI指标表现优异。
• 在UMIST数据集上，AHCL取得90.78%的ACC与95.47%的NMI，显著优于第二名方法SC-Y（89.33% ACC）。
• 在FASHION数据集上，AHCL取得96.45%的ACC与99.32%的NMI，展现出在复杂真实世界数据上的强大性能。
• 消融实验表明，与KM-Z、SC-Z和SC-Y基线相比，AHCL显著提升了聚类性能，尤其在深度特征与亲和矩阵学习方面提升最大。
• 收敛性分析显示，所有数据集均在60个周期内实现快速且稳定的收敛，表明自适应权重学习带来了稳健的训练动态。