[论文解读] Distilling Localization for Self-Supervised Representation Learning

Nanxuan Zhao, Zhirong Wu+2 more|arXiv (Cornell University)|Apr 14, 2020

Visual Attention and Saliency Detection参考文献 54被引用 11

一句话总结

本文提出DiLo，一种数据驱动方法，通过背景不变增强实现前景目标定位蒸馏，从而提升自监督对比学习。通过估计显著性掩码并利用前景复制粘贴至多样化背景创建增强数据，DiLo增强了表征学习，在ImageNet分类和PASCAL VOC与COCO等目标检测基准上实现了最先进性能，准确率最高提升6%。

ABSTRACT

Recent progress in contrastive learning has revolutionized unsupervised representation learning. Concretely, multiple views (augmentations) from the same image are encouraged to map to the similar embeddings, while views from different images are pulled apart. In this paper, through visualizing and diagnosing classification errors, we observe that current contrastive models are ineffective at localizing the foreground object, limiting their ability to extract discriminative high-level features. This is due to the fact that view generation process considers pixels in an image uniformly. To address this problem, we propose a data-driven approach for learning invariance to backgrounds. It first estimates foreground saliency in images and then creates augmentations by copy-and-pasting the foreground onto a variety of backgrounds. The learning still follows the instance discrimination pretext task, so that the representation is trained to disregard background content and focus on the foreground. We study a variety of saliency estimation methods, and find that most methods lead to improvements for contrastive learning. With this approach (DiLo), significant performance is achieved for self-supervised learning on ImageNet classification, and also for object detection on PASCAL VOC and MSCOCO.

研究动机与目标

• 诊断尽管在分类任务上表现强劲，自监督对比模型为何仍无法定位前景目标。
• 解决当前对比学习对图像各区域一视同仁的局限性，导致模型依赖背景线索的问题。
• 开发一种数据驱动的增强策略，促使表征对背景变化保持不变。
• 通过提升特征判别性以实现更优的定位，从而改善下游任务（如目标检测）的迁移学习性能。
• 评估不同显著性估计方法在支持此定位蒸馏过程中的有效性。

提出的方法

• 该方法使用无监督或学习得到的显著性模型（如RBD、BasNet）估计训练图像的前景显著性掩码。
• 通过将显著前景对象复制粘贴到多样化背景图像上，生成数据增强，保持对象身份的同时改变上下文。
• 将生成的增强视图用于标准实例判别掩蔽任务，促使模型学习对背景变化保持不变的表征。
• 该方法为即插即用设计，兼容现有对比学习框架（如MoCo、CMC和InstDist）。
• 显著性估计按图像独立进行，生成的增强图像对被输入对比学习目标，用于训练主干网络。
• 该方法在多个自监督学习基线和下游任务（包括ImageNet分类以及VOC和COCO上的目标检测）上进行了评估。

实验结果

研究问题

• RQ1 为何自监督对比模型尽管分类准确率高，仍无法定位前景目标？
• RQ2 通过数据增强改进前景定位，能否提升自监督表征学习性能？
• RQ3 不同显著性估计方法在定位和迁移准确率方面对对比学习性能有何影响？
• RQ4 学习对背景内容的不变性是否能提升下游检测与分类任务的泛化能力？
• RQ5 所提方法是否与现有对比学习技术正交，是否需要架构修改？

主要发现

• 在ImageNet线性评估中，DiLo相较于基线对比学习方法实现了2%至6%的一致性能提升，尤其在使用学习显著性（BasNet）时增益最大。
• 在PASCAL VOC目标检测中，DiLo-BasNet达到56.9% AP，优于MoCo基线（55.9%），且在AP_{75}上超过有监督ImageNet预训练5.3个百分点。
• 在MSCOCO上，DiLo-BasNet达到40.1% AP^{bb}和39.0% AP^{mk}_{75}，超过MoCo基线（39.4%和38.0%），在AP^{mk}_{75}上提升0.7个百分点。
• 可视化结果表明，DiLo聚焦于判别性物体区域，而基线则被背景内容干扰，验证了其定位能力的提升。
• 该方法在多种对比学习框架（包括MoCo-v1、MoCo-v2、CMC和InstDist）中均表现有效，证明其正交性与广泛适用性。
• 失败案例主要源于多目标场景或细粒度类别，表明在复杂视觉条件下显著性估计和泛化能力存在局限。