[论文解读] Bridging Ordinary-Label Learning and Complementary-Label Learning

Yasuhiro Katsura, Masato Uchida|arXiv (Cornell University)|Feb 6, 2020

Text and Document Classification Technologies参考文献 21被引用 4

一句话总结

本文通过利用一 vs 全和成对分类中损失函数的对偶性和可加性，统一了普通标签和互补标签学习。它推导出一种新的分类风险和误差界，该误差界随着互补标签数量的增加而单调递减，表明在相同条件下，使用互补标签学习的性能可与或优于使用普通标签学习的性能。

ABSTRACT

A supervised learning framework has been proposed for the situation where each training data is provided with a complementary label that represents a class to which the pattern does not belong. In the existing literature, complementary-label learning has been studied independently from ordinary-label learning, which assumes that each training data is provided with a label representing the class to which the pattern belongs. However, providing a complementary label should be treated as equivalent to providing the rest of all the labels as the candidates of the one true class. In this paper, we focus on the fact that the loss functions for one-versus-all and pairwise classification corresponding to ordinary-label learning and complementary-label learning satisfy certain additivity and duality, and provide a framework which directly bridge those existing supervised learning frameworks. Further, we derive classification risk and error bound for any loss functions which satisfy additivity and duality.

研究动机与目标

• 在单一理论框架下统一普通标签和互补标签学习。
• 分析满足可加性和对偶性的损失函数的分类风险和误差界。
• 推广现有将普通标签和互补标签学习视为独立问题的框架。
• 证明增加互补标签数量可提升分类性能。
• 为使用多个互补标签的隐私保护学习提供理论基础。

提出的方法

• 提出一种基于一 vs 全和成对分类之间对偶性和可加性的统一损失函数框架。
• 定义一种数据生成概率模型，将多个互补标签均匀分配给所有类别。
• 使用原点对称的S型损失函数推导分类风险和误差界。
• 在实验中使用代理分类器估计经验风险和测试误差。
• 在理论边界中应用 δ = 0.1 和 Lℓ = 1.0，假设模型容量充足。
• 在 MNIST、Fashion-MNIST、Kuzushiji-MNIST 和 CIFAR-10 上使用 MLP 和 DenseNet，采用标准超参数。

实验结果

研究问题

• RQ1 如何在单一理论框架下统一普通标签和互补标签学习？
• RQ2 损失函数的哪些特性使得能够直接连接一 vs 全和成对分类？
• RQ3 互补标签的数量如何影响分类风险和误差？
• RQ4 所推导的误差界能否准确反映经验性能趋势？
• RQ5 标签生成的均匀性对互补标签学习泛化能力有何影响？

主要发现

• 随着互补标签数量的增加，分类误差单调递减，表明在更多标签下性能得到提升。
• 一 vs 全和成对分类的理论误差界同样紧密，验证了所推导边界的鲁棒性。
• 实验结果表明，准确率随互补标签数量增加而持续提升，支持理论发现。
• 实验误差与理论边界的形状相似，证实了该边界与实际性能的相关性。
• 所推导的分类风险比 Ishida 等人 (2017, 2019)、Cao 和 Xu (2020) 以及 Feng 等人 (2020) 的先前公式更简单且更具通用性。
• 该框架通过均匀分配多个互补标签，防止标签分布泄露，支持隐私保护学习。