[论文解读] MetAug: Contrastive Learning via Meta Feature Augmentation

Jiangmeng Li, Wenwen Qiang+3 more|arXiv (Cornell University)|Mar 10, 2022

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

MetAug 提出了一种基于元学习的特征增强框架，通过直接增强表示空间中的潜在特征来提升对比自监督学习的效果。通过使用基于编码器性能反馈更新的元特征增强生成器，以及基于优化的统一对比损失，MetAug 在小批量设置下实现了最先进性能，并对弱数据增强具有鲁棒性。

ABSTRACT

What matters for contrastive learning? We argue that contrastive learning heavily relies on informative features, or "hard" (positive or negative) features. Early works include more informative features by applying complex data augmentations and large batch size or memory bank, and recent works design elaborate sampling approaches to explore informative features. The key challenge toward exploring such features is that the source multi-view data is generated by applying random data augmentations, making it infeasible to always add useful information in the augmented data. Consequently, the informativeness of features learned from such augmented data is limited. In response, we propose to directly augment the features in latent space, thereby learning discriminative representations without a large amount of input data. We perform a meta learning technique to build the augmentation generator that updates its network parameters by considering the performance of the encoder. However, insufficient input data may lead the encoder to learn collapsed features and therefore malfunction the augmentation generator. A new margin-injected regularization is further added in the objective function to avoid the encoder learning a degenerate mapping. To contrast all features in one gradient back-propagation step, we adopt the proposed optimization-driven unified contrastive loss instead of the conventional contrastive loss. Empirically, our method achieves state-of-the-art results on several benchmark datasets.

研究动机与目标

• 为解决传统对比学习在小批量设置下难以高效利用信息性特征的局限性。
• 克服在数据受限条件下因特征坍塌导致的自监督表示学习退化问题。
• 通过直接增强潜在空间中的特征信息性，减少对大规模数据增强和记忆库的依赖。
• 开发一种基于元学习的框架，根据编码器反馈自适应生成信息性特征增强。
• 实现高效、可扩展的对比学习，仅使用普通神经网络和小批量训练，且不引起性能下降。

提出的方法

• 引入元特征增强生成器（MAG），学习在潜在空间中生成特定视图的特征增强。
• 采用元学习方法，基于当前训练迭代中编码器的表现来更新MAG参数，实现自适应增强。
• 在目标函数中引入边缘注入正则化，防止编码器学习退化映射。
• 提出一种基于优化的统一对比损失，可在单次反向传播中对比所有原始特征与增强特征。
• 使用加权因子Γ的变体，记为 ̄Γ = Γ / φ_dec，其中φ_dec为线性衰减系数，以防止过早收敛。
• 将方法解耦，使MetAug可与现有最先进对比学习框架（如CMC、NNCLR）集成。

实验结果

研究问题

• RQ1 直接对潜在特征进行增强是否能提升对比自监督学习中表示的信息性？
• RQ2 如何利用元学习在潜在空间中生成自适应、基于性能的特征增强？
• RQ3 与传统对比学习相比，所提方法在小批量训练设置下是否能缓解特征坍塌问题？
• RQ4 MetAug对自监督学习中常见的弱或标准数据增强的鲁棒性如何？
• RQ5 统一对比损失与边缘注入正则化是否能有效提升优化稳定性和表示质量？

主要发现

• 在CIFAR-10、CIFAR-100和Tiny ImageNet等多个基准数据集上，MetAug在小批量训练设置下均实现了最先进性能。
• 在ResNet-50主干网络下，CIFAR-10上的线性评估Top-1准确率达到92.7%，优于以往最先进方法。
• 即使在弱数据增强（如仅水平翻转和旋转）条件下，MetAug性能仅下降1.60%，而LooC下降2.44%，展现出强大鲁棒性。
• 变体 ̄Γ = Γ / φ_dec 显著提升性能，当在使用卷积编码器的Tiny ImageNet上，φ_dec = 6时达到峰值准确率。
• 当应用于CMC和NNCLR等现有最先进框架时，MetAug在不同主干网络上均一致提升了下游线性评估准确率。
• 该方法表现出强泛化能力，无需架构修改即可在多种编码器和数据集上提升性能。