[论文解读] Hyperbolic Contrastive Learning

Yue Yun, Fangzhou Lin+2 more|arXiv (Cornell University)|Feb 2, 2023

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出了一种新型的自监督对比学习框架——双曲对比学习（HCL），将图像嵌入投影到双曲空间，以更好地捕捉层次化数据结构。通过利用庞加莱模型进行基于梯度的优化，HCL在下游分类准确率和对抗鲁棒性方面均优于欧几里得对比学习，在 $υ_{\infty}$ 攻击下于 CIFAR-10 上实现了 29.94% 的鲁棒准确率。

ABSTRACT

Learning good image representations that are beneficial to downstream tasks is a challenging task in computer vision. As such, a wide variety of self-supervised learning approaches have been proposed. Among them, contrastive learning has shown competitive performance on several benchmark datasets. The embeddings of contrastive learning are arranged on a hypersphere that results in using the inner (dot) product as a distance measurement in Euclidean space. However, the underlying structure of many scientific fields like social networks, brain imaging, and computer graphics data exhibit highly non-Euclidean latent geometry. We propose a novel contrastive learning framework to learn semantic relationships in the hyperbolic space. Hyperbolic space is a continuous version of trees that naturally owns the ability to model hierarchical structures and is thus beneficial for efficient contrastive representation learning. We also extend the proposed Hyperbolic Contrastive Learning (HCL) to the supervised domain and studied the adversarial robustness of HCL. The comprehensive experiments show that our proposed method achieves better results on self-supervised pretraining, supervised classification, and higher robust accuracy than baseline methods.

研究动机与目标

• 为解决欧几里得空间在建模视觉中常见层次化数据结构（如社交网络和脑成像）方面的局限性。
• 探究双曲空间是否可通过其指数级体积增长和树状几何特性，提升对比表示学习的效果。
• 开发一种鲁棒的自监督预训练方法，使其在对抗攻击下仍具有良好的泛化能力。
• 将 HCL 扩展至监督学习与对抗鲁棒性设置，证明其在下游任务中的优越性。

提出的方法

• 使用庞加莱球模型将图像嵌入投影到双曲空间，该模型支持高效的基于梯度的优化。
• 用基于双曲距离的对比损失替代欧几里得点积相似度，以更好地建模层次关系。
• 通过将对比目标适配至具有类别级监督的监督设置，提出监督型双曲对比学习（SHCL）。
• 通过将 HCL 与对抗训练相结合，提出鲁棒型双曲对比学习（RHCL），以提升对 $υ_{\infty}$ 攻击的鲁棒性。
• 采用曲率调节与归一化层以稳定训练过程，并提升双曲空间中的表征质量。
• 使用标准数据增强方法（如裁剪、颜色抖动）以及适配于双曲几何的 InfoNCE 损失，实现自监督预训练。

Figure 1 : The geodesics (red curve) of two points ( $A,B$ ) of the Poincaré disk. The blue line is the straight line between $A,B$ that is no longer the shortest distance. The relative size of objects in this disk is getting smaller while the distance of points increases exponentially (relative to

实验结果

研究问题

• RQ1 双曲空间是否能通过更有效地捕捉层次化数据结构，提升对比自监督模型的表征学习能力，相较于欧几里得空间？
• RQ2 双曲空间的曲率如何影响图像表征学习中对比学习的性能？
• RQ3 与标准的欧几里得对比学习相比，双曲对比学习在下游分类任务中是否具有更好的泛化能力？
• RQ4 双曲对比学习能否扩展至监督学习与对抗鲁棒性设置，并实现性能提升？
• RQ5 在自监督表征学习中，双曲空间是否比欧几里得空间更具对抗攻击鲁棒性？

主要发现

• 当曲率 $c = 0.6$ 时，HCL 在 CIFAR-10 上的线性评估准确率达到 87.98%，优于其他曲率设置。
• 在庞加莱投影前进行归一化至关重要，若去除该步骤，CIFAR-10 准确率将从 87.98% 降至 85.37%。
• RHCL 在 $υ_{\infty}$ 白盒攻击下于 CIFAR-10 上实现 29.94% 的鲁棒准确率，优于 SimCLR 与 RoCL。
• 通过对抗微调的 RHCL（RHCL+AT）达到 32.61% 的鲁棒准确率，表明联合自监督与对抗训练可进一步提升性能。
• SHCL 在多个基准数据集上的表现优于标准监督对比学习，表明双曲几何在监督设置中的优势。
• 所提出的 HCL 框架在自监督与监督预训练中均表现出一致的性能提升，证实了双曲空间在层次化视觉表征学习中的优越性。

Figure 2 : Overview of the proposed HCL . Different image augmentations are applied to the same image first. After going through the encoder network, the vectors are then projected into a latent space with a fully connected (FC) layer. Different from the general contrastive learning (dashed line) th