[论文解读] i-Mix: A Domain-Agnostic Strategy for Contrastive Representation Learning

Kibok Lee, Yian Zhu+4 more|arXiv (Cornell University)|Oct 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 88被引用 49

一句话总结

i-Mix 引入一种与领域无关的 MixUp 风格正则化，用于对比表示学习，在视觉、语音和表格领域提升表示。它在一个批次内对数据和虚拟标签进行增强，以提升下游分类。

ABSTRACT

Contrastive representation learning has shown to be effective to learn representations from unlabeled data. However, much progress has been made in vision domains relying on data augmentations carefully designed using domain knowledge. In this work, we propose i-Mix, a simple yet effective domain-agnostic regularization strategy for improving contrastive representation learning. We cast contrastive learning as training a non-parametric classifier by assigning a unique virtual class to each data in a batch. Then, data instances are mixed in both the input and virtual label spaces, providing more augmented data during training. In experiments, we demonstrate that i-Mix consistently improves the quality of learned representations across domains, including image, speech, and tabular data. Furthermore, we confirm its regularization effect via extensive ablation studies across model and dataset sizes. The code is available at https://github.com/kibok90/imix.

研究动机与目标

• 由于领域特定的数据增强，在对比学习中需要领域无关的增强的动机。
• 提出 i-Mix 作为一种在批次内混合数据及虚拟标签的正则化方法。
• 在图像、语音和表格数据集上展示 i-Mix 的跨领域适用性。
• 展示消融研究以在不同模型规模、数据规模和迁移设置下验证正则化效果。

提出的方法

• 将 i-Mix 定义为在批次内混合数据实例及其虚拟标签。
• 引入用于输入和标签混合的 beta 分布混合系数 lambda。
• 使 i-Mix 适配多种对比损失（N-pair、MoCo 风格、BYOL 集成），覆盖不同领域。
• 在域增强稀缺的情况下，选择性将 i-Mix 与 InputMix 组合以进一步进行数据增强。

实验结果

研究问题

• RQ1 i-Mix 是否在多样化领域（图像、语音、表格）中持续提高对比表示学习？
• RQ2 i-Mix 如何与不同的对比框架（N-pair、MoCo、BYOL）在下游准确率方面互动？
• RQ3 在不同数据集规模和模型容量下，i-Mix 的正则化效果如何？

主要发现

• i-Mix 在所有测试领域和方法上均带来稳定的准确率提升（例如 CIFAR-10、CIFAR-100、Speech Commands、CovType）。
• 在 CIFAR-100 与 MoCo v2 上，i-Mix 相较基线方法实现高达 6.5 个百分点的提升。
• 通过自监督预训练并使用 i-Mix 的线性评估在某些设置中接近或达到某些监督基线的水平（例如 CIFAR-10、Speech Commands）。
• 当训练数据有限或领域增强薄弱/不可用时，i-Mix 特别有益。
• 表1 显示跨域增益，N-pair、MoCo v2、BYOL 与 i-Mix 在 CIFAR-10、CIFAR-100、Speech Commands 和 CovType 上的表现。
• i-Mix 在不同模型规模和更长的训练阶段仍然有益，表明具有正则化效果。