[论文解读] The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning

Romain Cosentino, Sarath Shekkizhar+3 more|arXiv (Cornell University)|Sep 18, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出一种数据驱动的几何框架，利用流形图度量（MGMs）分析自监督学习（SSL）模型，揭示迁移学习性能与几何特性（如增强流形的不变性与展开性）密切相关。与以往聚焦于损失函数或网络结构的方法不同，该方法直接量化特征空间的几何特性，并表明几何属性——尤其是二阶统计量——可有效预测在多种下游任务中的迁移性能。

ABSTRACT

Self-supervised learning (SSL) has emerged as a desirable paradigm in computer vision due to the inability of supervised models to learn representations that can generalize in domains with limited labels. The recent popularity of SSL has led to the development of several models that make use of diverse training strategies, architectures, and data augmentation policies with no existing unified framework to study or assess their effectiveness in transfer learning. We propose a data-driven geometric strategy to analyze different SSL models using local neighborhoods in the feature space induced by each. Unlike existing approaches that consider mathematical approximations of the parameters, individual components, or optimization landscape, our work aims to explore the geometric properties of the representation manifolds learned by SSL models. Our proposed manifold graph metrics (MGMs) provide insights into the geometric similarities and differences between available SSL models, their invariances with respect to specific augmentations, and their performances on transfer learning tasks. Our key findings are two fold: (i) contrary to popular belief, the geometry of SSL models is not tied to its training paradigm (contrastive, non-contrastive, and cluster-based); (ii) we can predict the transfer learning capability for a specific model based on the geometric properties of its semantic and augmentation manifolds.

研究动机与目标

• 开发一种统一的几何框架，用于分析不同SSL模型，且独立于其训练范式、网络结构或损失函数。
• 理解所学表征的几何特性（尤其是对数据增强的不变性与等变性）如何影响迁移学习性能。
• 提供一种数据驱动的、基于图的度量方法，以捕捉任意网络层特征空间的流形结构，避免受投影头依赖性的限制。
• 识别哪些SSL模型的几何特征与下游任务中的迁移学习成功相关，特别是在少样本或分布外设置下。
• 通过几何度量实现对迁移学习能力的预测，为模型选择和任务特定SSL训练策略的设计提供新工具。

提出的方法

• 利用数据点及其增强样本在SSL模型的特征空间中构建局部邻域图，以形成语义流形与增强流形。
• 定义流形图度量（MGMs），以量化诸如语义等变性、旋转亲和性以及增强不变性的展开性等几何特性。
• 采用基于图的技术计算邻域内的平均距离、方差及分布展开度等度量，以捕捉表征流形的不变性与曲率。
• 应用回归模型，将MGMs与10项多样化下游任务中的迁移学习准确率相关联，实现特征选择与性能预测。
• 将该方法应用于使用多种SSL方法（对比式、非对比式、聚类式）预训练的ResNet50与ViT主干网络，分析编码器层的特征。
• 利用谱理论与图论概念确保方法的可解释性与可扩展性，支持理论推广，而不仅限于经验验证。

实验结果

研究问题

• RQ1 尽管训练范式（对比式、非对比式、聚类式）不同，不同SSL模型所学习的特征流形几何特性如何比较？
• RQ2 哪些SSL表征的几何特性（如对特定增强的不变性或流形展开性）可预测迁移学习性能？
• RQ3 在分布内与分布外迁移设置下，表征流形的几何特性与迁移性能的相关性是否更强？
• RQ4 基于编码器特征空间导出的几何度量是否能比标准ImageNet准确率基准更好地预测迁移学习准确率？
• RQ5 在少样本或领域偏移场景下，流形几何的二阶统计量（如方差、展开性）与迁移性能有何关联？

主要发现

• SSL模型的几何特性并非根本上依赖于其训练范式（对比式、非对比式、基于聚类的），即使架构与损失函数不同，不同模型也表现出相似的几何特性。
• 在多样本与微调迁移任务中，迁移性能与语义等变性、旋转亲和性及增强亲和性等几何特性呈负相关，表明更高的不变性可提升性能。
• 在少样本与分布外迁移任务（如CDFSL、检测、分割）中，迁移性能更可能由二阶统计量（如增强流形的展开性）预测，而非一阶不变性度量。
• MGMs与迁移准确率之间的相关性在大多数任务中具有统计显著性（p ≤ 0.01），仅在密集分割任务中未发现显著相关性（p = 0.34）。
• 所提出的MGMs通过简单回归即可成功预测多样化下游任务中的迁移学习性能，其中关键度量如裁剪与色彩抖动亲和性的展开性在检测与分割任务中表现出强正相关性。
• 结果表明，通过针对性设计SSL模型的几何特性（尤其是展开性与不变性），可提升特定下游任务的迁移性能，尤其在领域偏移较大的情况下。