[论文解读] Interventional Contrastive Learning with Meta Semantic Regularizer

Wenwen Qiang, Jiangmeng Li+3 more|arXiv (Cornell University)|Jun 29, 2022

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

该论文提出了一种基于元语义正则化的干预对比学习方法（ICL-MSR），这是一种因果表示学习方法，将图像背景视为混淆因子，并通过元语义正则化器实施反向门调整，以减少背景干扰。该方法在多种对比学习框架和基准测试中均提升了性能，实现了更紧致的泛化边界，并在半监督学习中取得了最先进结果。

ABSTRACT

Contrastive learning (CL)-based self-supervised learning models learn visual representations in a pairwise manner. Although the prevailing CL model has achieved great progress, in this paper, we uncover an ever-overlooked phenomenon: When the CL model is trained with full images, the performance tested in full images is better than that in foreground areas; when the CL model is trained with foreground areas, the performance tested in full images is worse than that in foreground areas. This observation reveals that backgrounds in images may interfere with the model learning semantic information and their influence has not been fully eliminated. To tackle this issue, we build a Structural Causal Model (SCM) to model the background as a confounder. We propose a backdoor adjustment-based regularization method, namely Interventional Contrastive Learning with Meta Semantic Regularizer (ICL-MSR), to perform causal intervention towards the proposed SCM. ICL-MSR can be incorporated into any existing CL methods to alleviate background distractions from representation learning. Theoretically, we prove that ICL-MSR achieves a tighter error bound. Empirically, our experiments on multiple benchmark datasets demonstrate that ICL-MSR is able to improve the performances of different state-of-the-art CL methods.

研究动机与目标

• 识别并解决背景特征对对比学习性能的负面影响。
• 解释对比学习模型在全图与仅前景图像上训练和测试时表现出的矛盾行为。
• 构建一个将背景建模为影响表示学习的混淆因子的因果框架。
• 设计一种基于反向门调整的正则化方法，可集成到现有对比学习框架中。
• 从理论和实证两方面证明通过更紧致的误差边界和更优的下游性能，实现了改进的泛化能力和鲁棒性。

提出的方法

• 作者构建了一个结构因果模型（SCM），其中将背景建模为同时影响对比学习中锚点样本和正样本的混淆因子。
• 提出一种元语义正则化器（MSR），通过反向门调整干预背景特征的混淆效应。
• MSR 通过鼓励模型学习与背景上下文无关的前景鲁棒表示，对特征空间进行正则化。
• 该方法即插即用，兼容任何对比学习框架，如 SimCLR 或 BYOL。
• 理论分析表明，与标准对比学习相比，ICL-MSR 能够获得更紧致的泛化误差边界。
• 该方法使用可学习的权重矩阵并施加均匀性约束，通过超参数 λ 平衡正则化损失。

实验结果

研究问题

• RQ1 为何对比学习模型在全图上训练却对前景区域表现更差？
• RQ2 为何在前景区域上训练能在前景上取得更好性能，却在全图上表现更差？
• RQ3 能否在对比表示学习中形式化地将背景特征建模为混淆因子？
• RQ4 通过反向门调整的因果干预如何提升对背景干扰的鲁棒性？
• RQ5 集成所提出的正则化方法是否能带来更紧致的泛化边界和更优的下游性能？

主要发现

• 在半监督 ImageNet 分类任务中，ICL-MSR 取得了最先进性能，在 1% 和 10% 标注数据下均优于 SimCLR 和 BYOL。
• 在 1% ImageNet 划分上，ICL-MSR（BYOL + MSR）达到 70.5% 的 top-1 准确率，超过 BYOL 的 68.8%。
• 在 10% ImageNet 划分上，ICL-MSR（BYOL + MSR）达到 90.7% 的 top-5 准确率，超过 BYOL 的 89.0%。
• 当在前景上训练时，该方法在全图上的性能也得到提升，解决了基线模型中观察到的矛盾现象。
• 超参数消融实验表明，λ=1 和 γ=1 时性能最优，表明正则化与对比损失之间实现了有效平衡。
• 在高分辨率数据集上提升最为显著，而在低分辨率数据集（如 CIFAR-10）上提升不足 1%，表明小图像中背景干扰较小。