[论文解读] Learning with Multiple Complementary Labels

Lei Feng, Takuo Kaneko+4 more|arXiv (Cornell University)|Dec 30, 2019

Machine Learning and Data Classification参考文献 57被引用 23

一句话总结

本文提出了一种新颖的学习框架，利用每个样本的多个互补标签（MCLs）——其中每个样本关联多个错误类别标签——扩展了传统的单个互补标签学习。它提出了两种方法：(1) 包装方法，将MCLs分解为多个单个CLs以兼容现有方法；(2) 一种新颖的无偏风险估计器，整体处理MCL集合，具有理论保证并实现更优的实证性能，在基准数据集上优于基于包装的方法。

ABSTRACT

A complementary label (CL) simply indicates an incorrect class of an example, but learning with CLs results in multi-class classifiers that can predict the correct class. Unfortunately, the problem setting only allows a single CL for each example, which notably limits its potential since our labelers may easily identify multiple CLs (MCLs) to one example. In this paper, we propose a novel problem setting to allow MCLs for each example and two ways for learning with MCLs. In the first way, we design two wrappers that decompose MCLs into many single CLs, so that we could use any method for learning with CLs. However, the supervision information that MCLs hold is conceptually diluted after decomposition. Thus, in the second way, we derive an unbiased risk estimator; minimizing it processes each set of MCLs as a whole and possesses an estimation error bound. We further improve the second way into minimizing properly chosen upper bounds. Experiments show that the former way works well for learning with MCLs but the latter is even better.

研究动机与目标

• 为解决现有互补标签学习的局限性，即每个样本仅允许一个错误标签，提出一种支持多个互补标签（MCLs）的新问题设定。
• 开发实用且理论基础扎实的方法，用于从MCLs中学习，改进现有基于分解的方法，后者会稀释监督信息。
• 提出一种将每个MCL集合整体处理的无偏风险估计器，确保概念一致性与收敛性保证。
• 为所提风险估计器推导估计误差边界，确保在训练数据量增加时统计一致性。

提出的方法

• 提出一种新问题设定，允许每个训练样本拥有多个互补标签（MCLs），从而从标注者处获得更丰富的监督信息。
• 设计两种包装方法，将每个MCL集合分解为多个样本，每个样本仅含一个CL，以支持现有CL学习算法的使用。
• 开发一种无偏风险估计器，整体处理每个MCL集合，避免因分解导致的信息稀释。
• 为风险估计器推导理论估计误差边界，证明在温和条件下，经验风险最小化器会收敛至真实风险最小化器。
• 通过最小化适当选择的上界改进风险估计器，以提升优化稳定性与梯度更新效果。
• 在基准数据集上采用标准深度学习模型（如ResNet、DenseNet）和线性模型评估性能。

实验结果

研究问题

• RQ1 与单个互补标签学习相比，使用多个互补标签（MCLs）是否能提升分类性能？
• RQ2 将MCL集合整体处理是否优于将其分解为多个单CL样本？
• RQ3 专为MCLs设计的风险估计器的理论泛化性能如何？是否保证收敛？
• RQ4 在MCLs学习中，不同损失函数（有界与无界）对模型性能有何影响？
• RQ5 最小化上界能否改善基于MCLs模型的实际训练？

主要发现

• 所提出的整体处理MCL集合的无偏风险估计器，在所有基准数据集上均一致优于基于包装的分解方法。
• 为风险估计器推导的估计误差边界确保，随着训练数据量增加，经验风险最小化器以高概率收敛至真实风险最小化器。
• 基于最小化风险估计器上界改进的方法，带来更稳定且高效的梯度更新，从而提升模型性能。
• 实验表明，每个样本的MCL数量越多，分类准确率越高，验证了理论预期：更多监督信息可改善学习效果。
• 有界损失函数（如MAE、GCE）在MCLs存在时优于无界交叉熵（CCE），表明有界损失可缓解弱监督设置下的过拟合。