[论文解读] Improving Self-Supervised Learning by Characterizing Idealized Representations

Yann Dubois, Tatsunori Hashimoto+2 more|arXiv (Cornell University)|Sep 13, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

本文提出了一套理论框架，用于表征理想自监督表征，使其能够实现任意数据增强不变任务的完美下游分类。通过推导线性与MLP探测器实现完美准确率的必要和充分条件，作者设计了改进的对比学习与非对比学习方法——如非对称投影头和一种新型非对比学习目标——并展示了其最先进的性能，包括在ImageNet线性探测中相较于SwAV+多尺度图像的性能提升超过1%。

ABSTRACT

Despite the empirical successes of self-supervised learning (SSL) methods, it is unclear what characteristics of their representations lead to high downstream accuracies. In this work, we characterize properties that SSL representations should ideally satisfy. Specifically, we prove necessary and sufficient conditions such that for any task invariant to given data augmentations, desired probes (e.g., linear or MLP) trained on that representation attain perfect accuracy. These requirements lead to a unifying conceptual framework for improving existing SSL methods and deriving new ones. For contrastive learning, our framework prescribes simple but significant improvements to previous methods such as using asymmetric projection heads. For non-contrastive learning, we use our framework to derive a simple and novel objective. Our resulting SSL algorithms outperform baselines on standard benchmarks, including SwAV+multicrops on linear probing of ImageNet.

研究动机与目标

• 识别自监督表征在何种条件下可实现对任意数据增强不变任务的完美下游分类。
• 基于理想表征属性，将现有自监督学习（SSL）方法统一于单一概念框架之下。
• 推导现有SSL方法的实用改进方案及满足理想表征标准的新目标。
• 证明增加表征维度和使用非对称投影头可显著提升标准基准上的性能。

提出的方法

• 作者将理想表征定义为：使得来自特定家族（如线性或MLP）的探测器能够完美分类所有对数据增强不变的任务的表征。
• 他们证明了三个条件是必要且充分的：(1) 正样本与负样本在表征空间中必须可区分；(2) 表征维度必须足够大；(3) 同一输入的增强视图必须映射到相同的表征。
• 对于对比学习，该框架建议使用非对称投影头，以更好地满足可区分性与不变性条件。
• 对于非对比学习，该框架导出一种新型目标，其在不依赖负对比对的情况下强制实现理想表征属性。
• 通过在TinyImageNet和ImageNet上进行大量实验，验证了该方法在不同维度、训练轮次和增强策略下的性能表现。
• 理论分析表明，优化ISSL对数损失可使表征趋向等角紧框架（ETFs），这与训练中观察到的收敛行为一致。

实验结果

研究问题

• RQ1 自监督表征必须具备何种属性，才能使线性或MLP探测器对任意增强不变任务实现完美下游分类？
• RQ2 如何基于理想表征标准系统性地改进现有的对比学习与非对比学习SSL方法？
• RQ3 标准SSL目标在多大程度上近似于最优表征学习的必要和充分条件？
• RQ4 能否从理想表征框架中推导出一种新型非对比学习目标，使其性能优于现有基线？
• RQ5 ISSL方法的训练动态是否收敛至ETFs等结构化表征，且该收敛是否与下游性能相关？

主要发现

• 在对比学习中使用非对称投影头相较于对称版本，在TinyImageNet上实现了5个百分点的准确率提升。
• 所提出的非对比学习目标在ImageNet线性探测中优于所有基线模型，包括SwAV+多尺度图像，性能提升至少1个百分点。
• 将表征维度从512提升至8192，在最优设置下使ImageNet上的Top-1准确率从66.9%提升至74.0%，性能显著提高。
• 延长训练时间（最多800轮）并使用更粗粒度的多尺度增强策略可进一步提升性能，ImageNet上的Top-1准确率最高达到74.0%。
• ISSL训练损失与测试损失高度相关，表明ISSL在泛化到测试分布方面并非主要问题。
• 通过所提方法学习到的表征会收敛至等角紧框架（ETFs），且该收敛过程与下游性能具有强相关性。