[论文解读] i-Mix: A Strategy for Regularizing Contrastive Representation Learning

Kibok Lee, Yian Zhu+4 more|arXiv (Cornell University)|Oct 17, 2020

Domain Adaptation and Few-Shot Learning被引用 3

一句话总结

i-Mix 通过在输入空间和虚拟类别空间中混合数据样本及其对应的虚拟类别，提出了一种对比表示学习的正则化策略，在视觉和非视觉领域均提升了自监督表示质量，并在下游任务中实现了稳定性能提升。

ABSTRACT

Contrastive representation learning has shown to be an effective way of learning representations from unlabeled data. However, much progress has been made in vision domains relying on data augmentations carefully designed using domain knowledge. In this work, we propose i-Mix, a simple yet effective regularization strategy for improving contrastive representation learning in both vision and non-vision domains. We cast contrastive learning as training a non-parametric classifier by assigning a unique virtual class to each data in a batch. Then, data instances are mixed in both the input and virtual label spaces, providing more augmented data during training. In experiments, we demonstrate that i-Mix consistently improves the quality of self-supervised representations across domains, resulting in significant performance gains on downstream tasks. Furthermore, we confirm its regularization effect via extensive ablation studies across model and dataset sizes.

研究动机与目标

• 为解决对比学习在视觉领域中依赖手工设计数据增强的问题。
• 开发一种适用于视觉领域之外的通用正则化策略。
• 在无需领域特定增强设计的情况下，提升自监督表示的质量。
• 提供一种简单但有效的方法，持续提升下游任务性能。

提出的方法

• i-Mix 将对比学习重新表述为一个非参数分类器训练过程，其中每个小批量中的数据样本均对应一个独特的虚拟类别。
• 通过使用混合系数对样本对进行插值，在输入空间中执行数据混合。
• 同时使用相同的混合系数对相应的虚拟类别标签进行混合。
• 利用混合后的样本及其混合的虚拟类别标签计算对比损失。
• 该方法与标准对比学习目标（如 InfoNCE）兼容。
• 不引入额外参数，适用于任何对比学习框架。

实验结果

研究问题

• RQ1 一种简单的数据混合策略是否能在不依赖领域特定增强的情况下改善对比表示学习？
• RQ2 在输入空间和虚拟标签空间中同时进行混合如何影响表示质量？
• RQ3 i-Mix 在不同模型架构和数据集规模下是否具有泛化能力？
• RQ4 i-Mix 对下游线性评估和微调性能有何影响？
• RQ5 与标准数据增强策略相比，i-Mix 的正则化效果如何？

主要发现

• i-Mix 在多个视觉和非视觉数据集上一致提升了自监督表示质量。
• 该方法在下游线性评估和微调基准上实现了显著的性能提升。
• 消融实验证实，i-Mix 在不同模型和数据集规模下均具有正则化效果。
• 即使在已应用标准增强策略的情况下，仍观察到性能提升，表明其具有叠加优势。
• 该方法无需引入额外参数或架构修改即可有效提升性能。
• 在多种设置下，i-Mix 的表现优于采用标准增强策略的基线对比学习方法。