[论文解读] Multi-Class Classification from Noisy-Similarity-Labeled Data

Songhua Wu, Xiaobo Xia+6 more|arXiv (Cornell University)|Feb 16, 2020

Machine Learning and Data Classification参考文献 39被引用 5

一句话总结

本文提出一种仅使用噪声相似性标签数据的深度学习多分类方法，通过可估计的转移矩阵建模标签噪声以提升鲁棒性。该方法在基准数据集上达到最先进性能，在高度不平衡的相似性数据上相比先前方法准确率最高提升23%。

ABSTRACT

A similarity label indicates whether two instances belong to the same class while a class label shows the class of the instance. Without class labels, a multi-class classifier could be learned from similarity-labeled pairwise data by meta classification learning. However, since the similarity label is less informative than the class label, it is more likely to be noisy. Deep neural networks can easily remember noisy data, leading to overfitting in classification. In this paper, we propose a method for learning from only noisy-similarity-labeled data. Specifically, to model the noise, we employ a noise transition matrix to bridge the class-posterior probability between clean and noisy data. We further estimate the transition matrix from only noisy data and build a novel learning system to learn a classifier which can assign noise-free class labels for instances. Moreover, we theoretically justify how our proposed method generalizes for learning classifiers. Experimental results demonstrate the superiority of the proposed method over the state-of-the-art method on benchmark-simulated and real-world noisy-label datasets.

研究动机与目标

• 解决仅能获得成对噪声相似性标签时，训练鲁棒多分类器的挑战。
• 通过引入干净标签与噪声标签之间的潜在噪声转移矩阵，对基于相似性的监督中的噪声进行建模。
• 仅从噪声相似性标签数据中直接估计转移矩阵，无需访问干净标签。
• 开发一种深度学习框架，在存在噪声相似性监督的情况下仍具备良好泛化能力，并提供理论支持。

提出的方法

• 使用转移矩阵 T 建模标签噪声，其中 T_ij = P(Ŷ=j|Y=i,X)，表示干净标签 i 转变为噪声标签 j 的概率。
• 提出一种图模型框架，将输入 X、干净标签 Y、噪声标签 Ŷ 和噪声相似性标签 S 关联起来，实现噪声建模。
• 在训练数据中存在锚点的假设下，仅从噪声相似性标签数据中估计转移矩阵 T。
• 将可微分的噪声转移矩阵层集成到深度神经网络中，支持端到端训练，实现噪声相似性监督下的优化。
• 采用两阶段训练流程：首先训练一个噪声预测器 f(X) = P(Ŷ|X)，然后利用预测的类别分布估计 T。
• 应用估计得到的 T 来校正分类器预测，并通过一种新型损失函数训练出对噪声鲁棒的模型，该损失函数考虑了标签噪声的影响。

实验结果

研究问题

• RQ1 能否仅使用噪声相似性标签数据，在无干净类别标签的情况下有效训练多分类器？
• RQ2 当无法获取干净标签时，如何对基于相似性的监督中的标签噪声进行建模与估计？
• RQ3 能否仅从噪声相似性标签数据中准确估计噪声转移矩阵？其是否能提升分类器的泛化能力？
• RQ4 在不同水平的标签噪声和数据不平衡条件下，所提方法相较于最先进方法的表现如何？
• RQ5 在噪声相似性监督下，所提分类器的泛化误差可提供哪些理论保障？

主要发现

• 在 Clothing1M 数据集上，所提 MNS(Ŷ) 方法达到 67.50% 的准确率，比 SOTA 方法 MCL 提高 1.3 个百分点。
• 在 Food-101 数据集上，MNS(Ŷ) 达到 71.18% 的准确率，显著优于 MCL（48.08%），领先幅度达 23.1 个百分点。
• 估计的转移矩阵具有高度准确性，在 MNIST 上误差为 0.0668，在 CIFAR-10 上为 0.1144，在 CIFAR-100 上为 0.1055，表明噪声建模效果良好。
• 即使在高度不平衡的相似性数据中，该方法仍表现出良好泛化能力，即当 k 个类别时仅有约 1/k 的样本对满足 S=1，如 Food-101 结果所示。
• 该方法在真实世界噪声数据集上表现优越，展现出对标签噪声和数据不平衡的强鲁棒性。
• 理论分析证实，该方法提供了泛化误差界，支持其在弱监督设置下的可靠性。