[论文解读] Improving Transferability of Representations via Augmentation-Aware Self-Supervision

Hankook Lee, Kibok Lee+3 more|arXiv (Cornell University)|Nov 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 61被引用 8

一句话总结

该论文提出AugSelf，一种辅助自监督损失，通过学习同一图像的两个增强视图之间增强参数（如裁剪位置、色彩强度）的差异，提升表示的可迁移性。通过保留与增强相关的特征信息，AugSelf以极低的计算成本，在22个迁移学习场景中的20个以及11个监督预训练设置中的9个中持续提升性能。

ABSTRACT

Recent unsupervised representation learning methods have shown to be effective in a range of vision tasks by learning representations invariant to data augmentations such as random cropping and color jittering. However, such invariance could be harmful to downstream tasks if they rely on the characteristics of the data augmentations, e.g., location- or color-sensitive. This is not an issue just for unsupervised learning; we found that this occurs even in supervised learning because it also learns to predict the same label for all augmented samples of an instance. To avoid such failures and obtain more generalizable representations, we suggest to optimize an auxiliary self-supervised loss, coined AugSelf, that learns the difference of augmentation parameters (e.g., cropping positions, color adjustment intensities) between two randomly augmented samples. Our intuition is that AugSelf encourages to preserve augmentation-aware information in learned representations, which could be beneficial for their transferability. Furthermore, AugSelf can easily be incorporated into recent state-of-the-art representation learning methods with a negligible additional training cost. Extensive experiments demonstrate that our simple idea consistently improves the transferability of representations learned by supervised and unsupervised methods in various transfer learning scenarios. The code is available at https://github.com/hankook/AugSelf.

研究动机与目标

• 为解决增强不变表示学习的局限性，即丢弃了颜色和空间布局等有用的增强特异性信息。
• 提升下游任务中依赖此类增强特异性线索（如对颜色敏感或位置敏感的任务）的表示可迁移性。
• 开发一种通用、低成本的方法，可轻松集成到现有的自监督和监督表示学习框架中。
• 证明即使在监督预训练中，通过辅助损失保留增强感知知识也能带来收益。

提出的方法

• AugSelf引入一种辅助自监督损失，用于预测同一图像的两个增强视图之间增强参数的差异。
• 该方法训练一个小型预测头，回归两个增强视图之间参数差异（如裁剪位置或色彩抖动强度）。
• 该损失与自监督学习中的标准对比或非对比目标并行应用，训练开销可忽略不计。
• 该方法兼容对比方法（如SimCLR）和非对比方法（如SimSiam、BYOL），并适用于标准增强技术（如随机裁剪和色彩抖动）。
• 该方法在监督预训练中同样有效，可缓解标准训练过程中数据增强带来的不变性影响。
• 增强参数差异被建模为可学习的回归任务，使模型能够保留标准不变性目标中丢失的有用信息。

实验结果

研究问题

• RQ1 在何种情况下，对数据增强的不变性学习会损害下游任务中的可迁移性？
• RQ2 保留增强感知信息是否能提升表示在多样化下游任务中的泛化能力？
• RQ3 如何高效地将增强感知自监督方法集成到现有的自监督和监督学习框架中？
• RQ4 即使在标准监督预训练中，当增强不变性已强制实施时，辅助损失是否仍能提升可迁移性？
• RQ5 该方法是否能在不同增强类型和下游任务类型（包括少样本设置）中实现泛化？

主要发现

• AugSelf在22个测试的迁移学习场景中，有20个提升了无监督方法（如MoCo和SimSiam）的迁移性能。
• 在11个评估的监督预训练设置中，该方法在9个中提升了性能，证明其收益不仅限于无监督学习。
• AugSelf在对颜色敏感的基准测试（如Flowers）中表现持续优异，而标准增强不变方法则表现欠佳。
• 该方法保持了极低的训练成本，仅需额外的小型预测头和极少的计算开销。
• AugSelf在少样本学习设置中表现有效，表明其在低数据场景下具备鲁棒性和泛化能力。
• 该方法优于以往需要额外增强样本或仅限于对比学习的增强感知方法。