[论文解读] Deep Learning from Noisy Image Labels with Quality Embedding

Jiangchao Yao, Jiajie Wang+5 more|arXiv (Cornell University)|Nov 2, 2017

Machine Learning and Data Classification参考文献 34被引用 4

一句话总结

本文提出了一种质量嵌入模型，通过显式建模标签可信度来缓解图像分类中的噪声问题。通过引入一个质量变量来控制从潜在表示到预测标签的过渡，对比加性噪声（CAN）网络减少了噪声标签带来的误差反向传播，在 WebImage 和 AMT 等噪声图像数据集上实现了最先进性能。

ABSTRACT

There is an emerging trend to leverage noisy image datasets in many visual recognition tasks. However, the label noise among the datasets severely degenerates the \mbox{performance of deep} learning approaches. Recently, one mainstream is to introduce the latent label to handle label noise, which has shown promising improvement in the network designs. Nevertheless, the mismatch between latent labels and noisy labels still affects the predictions in such methods. To address this issue, we propose a quality embedding model, which explicitly introduces a quality variable to represent the trustworthiness of noisy labels. Our key idea is to identify the mismatch between the latent and noisy labels by embedding the quality variables into different subspaces, which effectively minimizes the noise effect. At the same time, the high-quality labels is still able to be applied for training. To instantiate the model, we further propose a Contrastive-Additive Noise network (CAN), which consists of two important layers: (1) the contrastive layer estimates the quality variable in the embedding space to reduce noise effect; and (2) the additive layer aggregates the prior predictions and noisy labels as the posterior to train the classifier. Moreover, to tackle the optimization difficulty, we deduce an SGD algorithm with the reparameterization tricks, which makes our method scalable to big data. We conduct the experimental evaluation of the proposed method over a range of noisy image datasets. Comprehensive results have demonstrated CAN outperforms the state-of-the-art deep learning approaches.

研究动机与目标

• 解决大规模数据集中因图像标签噪声导致的深度学习性能下降问题。
• 克服现有方法隐式建模噪声或依赖潜在标签与噪声标签之间线性过渡的局限性。
• 通过质量嵌入变量显式建模噪声标签的可信度。
• 设计一种可扩展的优化方法，实现端到端的噪声标签训练。
• 在真实世界噪声图像基准上展示改进的泛化能力和鲁棒性。

提出的方法

• 引入一个质量变量以表示噪声标签的可信度，并将其嵌入独立子空间以控制标签过渡过程。
• 设计一种对比加性噪声（CAN）网络，包含两个关键层：对比层用于估计质量嵌入，加性层用于聚合先验预测与噪声标签以进行后验训练。
• 使用重参数化技巧推导出一种高效的随机梯度下降（SGD）优化算法，从而实现对大规模数据集的可扩展性。
• 采用变分推断结合 KL 散度正则化来建模潜在标签与质量变量，以确保训练过程的稳定性。
• 对质量嵌入进行 K-均值二值化，将样本分类为可信或不可信，以支持分析。
• 在图模型框架下，将噪声标签建模为同时依赖于潜在标签与质量变量的条件分布。

实验结果

研究问题

• RQ1 通过质量嵌入变量显式建模标签可信度，是否能有效降低深度学习中标签噪声的影响？
• RQ2 质量嵌入机制如何提升潜在标签与噪声标签之间的对齐程度？
• RQ3 CAN 网络在真实世界噪声图像数据集上，能在多大程度上超越现有最先进方法？
• RQ4 在基于可信与不可信质量嵌入的条件下，分析标签转换过程时，会揭示出何种标签污染模式？
• RQ5 所提出的方法能否泛化到多种噪声模式，如标注错误和特定领域内的误分类？

主要发现

• CAN 模型在 WebImage 和 AMT 数据集上实现了最先进性能，优于现有的噪声鲁棒深度学习方法。
• 质量嵌入机制成功识别并隔离了不可信标签，显著降低了其对反向传播的影响。
• 热力图分析显示，对于可信质量嵌入，从潜在标签到噪声标签的过渡集中在对角线上，表明标签可靠；而对于不可信嵌入，过渡呈现发散模式，反映出真实世界中的噪声特征。
• 该模型能有效纠正错误标签，例如准确区分外观相似的狗品种，如 'Norfolk Terrier' 与 'Norwich Terrier'。
• 过渡模式揭示，某些类别如 'pottedplant' 较少发生误标，而 'tv' 等类别则因标注焦点模糊而更易发生误标。
• 重参数化 SGD 优化方法使模型能够在大规模噪声数据集上实现高效训练，证实了该方法的可扩展性。