[论文解读] Multi-Complementary and Unlabeled Learning for Arbitrary Losses and Models

Yuzhou Cao, Shuqi Liu+1 more|arXiv (Cornell University)|Jan 13, 2020

Machine Learning and Data Classification参考文献 33被引用 7

一句话总结

本文提出了一种新颖的多互补标签与无标签学习（MCUL）框架，该框架可利用任意数量的互补标签样本和无标签数据，对任意损失函数和模型实现无偏风险估计。该方法在估计误差方面实现了最优参数收敛速率，并在多个数据集上的线性模型与深度模型中均优于当前最先进方法。

ABSTRACT

A weakly-supervised learning framework named as complementary-label learning has been proposed recently, where each sample is equipped with a single complementary label that denotes one of the classes the sample does not belong to. However, the existing complementary-label learning methods cannot learn from the easily accessible unlabeled samples and samples with multiple complementary labels, which are more informative. In this paper, to remove these limitations, we propose the novel multi-complementary and unlabeled learning framework that allows unbiased estimation of classification risk from samples with any number of complementary labels and unlabeled samples, for arbitrary loss functions and models. We first give an unbiased estimator of the classification risk from samples with multiple complementary labels, and then further improve the estimator by incorporating unlabeled samples into the risk formulation. The estimation error bounds show that the proposed methods are in the optimal parametric convergence rate. Finally, the experiments on both linear and deep models show the effectiveness of our methods.

研究动机与目标

• 解决现有互补标签学习（CLL）方法无法利用无标签样本或具有多个互补标签样本的局限性。
• 开发一种统一框架，支持在弱监督下对任意损失函数和模型进行分类。
• 实现从任意数量互补标签样本及无标签数据中进行无偏风险估计。
• 从理论上建立所提出风险估计器的最优参数收敛速率。

提出的方法

• 提出一种新颖的无偏风险估计器，用于多互补标签学习（MCL），基于对数据分布的温和假设。
• 通过修改风险公式以包含无标签数据的贡献，将MCL框架扩展至整合无标签样本。
• 推导出估计误差界，实现与模型或损失函数无关的最优参数收敛速率。
• 利用类别先验概率积分进一步提升性能，当可获取先验信息时。
• 将该框架应用于线性模型与深度神经网络模型，证明其在不同架构间的泛化能力。
• 采用经验风险最小化（ERM）并结合校正后的风险估计器，以考虑真实标签缺失的问题。

实验结果

研究问题

• RQ1 能否仅使用具有多个互补标签的样本，对任意损失函数和模型实现无偏风险估计？
• RQ2 如何有效将无标签数据整合到互补标签学习中以提升泛化性能？
• RQ3 在弱监督下，所提出的框架是否仍能保持最优的估计误差收敛速率？
• RQ4 该框架是否能在线性与深度学习模型之间实现泛化？
• RQ5 在弱监督下，整合类别先验信息对模型性能有何影响？

主要发现

• 所提出的MCL框架在所有数据集上显著优于基线方法，尤其在高类别设置（如EMNIST-balanced和LETTER）中表现突出。
• 当大量无标签数据可用时，MCUL在性能上优于基线方法，证明了无标签数据整合的优势。
• 在SVHN数据集上，MCUL在20%互补标签数据下实现了83.27 ± 0.55%的测试准确率，优于其他方法。
• 当可获取类别先验信息时，MCUL cl在SATIMAGE上实现了54.23 ± 6.14%的准确率，较MCUL提升22.9%。
• MCL与MCUL的估计误差界均处于最优参数收敛速率，证实了理论上的鲁棒性。
• 该框架涵盖了普通分类与标准CLL作为特例，证明了其通用性与全面性。