[论文解读] MoPro: Webly Supervised Learning with Momentum Prototypes

Junnan Li, Caiming Xiong+1 more|arXiv (Cornell University)|Sep 17, 2020

Machine Learning and Data Classification参考文献 43被引用 35

一句话总结

MoPro 是一种网页监督的表示学习方法，使用动量原型来纠正嘈杂标签并检测/移除分布外样本，在 WebVision 上取得了最先进结果并对下游任务具有强传输性能。

ABSTRACT

We propose a webly-supervised representation learning method that does not suffer from the annotation unscalability of supervised learning, nor the computation unscalability of self-supervised learning. Most existing works on webly-supervised representation learning adopt a vanilla supervised learning method without accounting for the prevalent noise in the training data, whereas most prior methods in learning with label noise are less effective for real-world large-scale noisy data. We propose momentum prototypes (MoPro), a simple contrastive learning method that achieves online label noise correction, out-of-distribution sample removal, and representation learning. MoPro achieves state-of-the-art performance on WebVision, a weakly-labeled noisy dataset. MoPro also shows superior performance when the pretrained model is transferred to down-stream image classification and detection tasks. It outperforms the ImageNet supervised pretrained model by +10.5 on 1-shot classification on VOC, and outperforms the best self-supervised pretrained model by +17.3 when finetuned on 1\% of ImageNet labeled samples. Furthermore, MoPro is more robust to distribution shifts. Code and pretrained models are available at https://github.com/salesforce/MoPro.

研究动机与目标

• 通过利用网页标注数据来解决视觉表示学习中的标注可扩展性问题。
• 开发一个对噪声鲁棒、有效率的学习框架，能够处理网页数据中的标签噪声和 OOD 样本。
• 提升使用弱标注网页图像的分类和检测的下游传输性能。

提出的方法

• 用编码器将图像投射到嵌入向量并规范化到单位球面。
• 维持动量嵌入和动量原型，更新为滑动平均。
• 联合优化原型对比损失和实例对比损失，以及对伪标签的交叉熵损失。
• 通过将分类器预测与基于原型的相似性相结合来生成软伪标签，然后通过噪声纠正和 OOD 移除的规则将其转换为硬伪标签。
• 将每个伪标签分配的嵌入样本的移动平均更新为类别原型。
• 在与分布内样本分离的同時，移除 OOD 样本对引用特定损失的影响，同时保留在实例对比损失中以将其推向分布内样本之外。

实验结果

研究问题

• RQ1 动量原型是否能够在不需要额外干净标签数据的情况下在线纠正网页标签的噪声？
• RQ2 基于原型的纠正和 OOD 过滤是否能提升弱监督表示学习及其下游传输性能？
• RQ3 在上游网页标注数据和多种下游任务上，MoPro 与监督和自监督基线相比如何？
• RQ4 MoPro 对分布偏移是否具有鲁棒性，且是否比其他方法具有更好的校准性？

主要发现

• MoPro 在 WebVision 的上游网页监督学习中实现了最先进的性能。
• MoPro 显著提升了图像分类和目标检测的下游表示学习，在某些设置下超越了 ImageNet 监督预训练。
• 在低样本迁移任务中，当数据和计算预算匹配时，MoPro 超过自监督方法并接近监督基线。
• MoPro 在分布偏移下（ImageNet-R 和 ImageNet-A）提供了更稳健且校准性更高的模型，相较于 ImageNet 监督基线。
• 消融研究表明，原型损失、实例损失和基于原型的伪标签各自对 MoPro 的收益有所贡献。