[论文解读] Learning from Web Data with Memory Module

Yi Tu, Li Niu+3 more|arXiv (Cornell University)|Jun 28, 2019

Image Retrieval and Classification Techniques被引用 2

一句话总结

该论文提出了一种记忆增强的多实例学习框架，无需干净监督即可联合解决网络爬取图像中的标签噪声和背景噪声问题。通过将区域提议（region proposals）分组为袋子（bags），并利用可学习的记忆模块基于聚类判别性动态分配权重，该方法实现了端到端训练，并在四个基准数据集上优于现有方法。

ABSTRACT

Learning from web data has attracted lots of research interest in recent years. However, crawled web images usually have two types of noises, label noise and background noise, which induce extra difficulties in utilizing them effectively. Most existing methods either rely on human supervision or ignore the background noise. In this paper, we propose a novel method, which is capable of handling these two types of noises together, without the supervision of clean images in the training stage. Particularly, we formulate our method under the framework of multi-instance learning by grouping ROIs (i.e., images and their region proposals) from the same category into bags. ROIs in each bag are assigned with different weights based on the representative/discriminative scores of their nearest clusters, in which the clusters and their scores are obtained via our designed memory module. Our memory module could be naturally integrated with the classification module, leading to an end-to-end trainable system. Extensive experiments on four benchmark datasets demonstrate the effectiveness of our method.

研究动机与目标

• 为解决网络爬取图像中标签噪声和背景噪声的双重挑战，这些噪声会阻碍有效的自监督学习。
• 开发一种在训练过程中无需人工标注干净图像的方法。
• 通过将记忆模块与分类头集成，实现端到端学习。
• 通过代表性区域加权提升模型在噪声网络数据上的鲁棒性和准确性。

提出的方法

• 该方法将来自同一类别的图像及其区域提议（ROIs）分组为袋子，遵循多实例学习范式。
• 记忆模块学习ROIs的代表性聚类，并根据其最近聚类的判别性得分为每个ROI分配权重。
• 记忆模块是可微分的，并与分类模块联合训练，从而实现端到端优化。
• 通过存储和检索特征表示的键值记忆机制，在训练过程中动态更新聚类得分。
• 根据ROI与高分聚类的接近程度进行加权，突出更具代表性和判别性的区域。
• 该框架在无需干净图像监督的情况下实现端到端训练，完全依赖噪声网络数据。

实验结果

研究问题

• RQ1 自监督方法是否能在无干净监督的情况下有效处理网络爬取图像中的标签噪声和背景噪声？
• RQ2 在噪声网络图像设置下，如何自动识别并加权具有代表性和判别性的ROIs？
• RQ3 记忆模块能否有效集成到多实例学习框架中以提升鲁棒性和性能？
• RQ4 基于聚类判别性的动态ROI加权对分类准确率有何影响？

主要发现

• 尽管在无干净监督的噪声网络数据上进行训练，该方法在四个基准数据集上仍实现了最先进性能。
• 记忆模块通过在训练过程中聚焦更具代表性和判别性的ROIs，显著提升了模型鲁棒性。
• 端到端可训练架构在多样化网络图像数据集上均实现了稳定的性能提升。
• 消融实验确认，标签噪声和背景噪声的处理均对整体性能提升有贡献。