[论文解读] Learning from Complementary Labels

Takashi Ishida, Gang Niu+2 more|arXiv (Cornell University)|May 22, 2017

Machine Learning and Data Classification参考文献 27被引用 57

一句话总结

本论文介绍从互补标签学习用于多类分类，在对称条件下提供无偏风险估计，建立学习保障，并展示与普通标签的实际结合。

ABSTRACT

Collecting labeled data is costly and thus a critical bottleneck in real-world classification tasks. To mitigate this problem, we propose a novel setting, namely learning from complementary labels for multi-class classification. A complementary label specifies a class that a pattern does not belong to. Collecting complementary labels would be less laborious than collecting ordinary labels, since users do not have to carefully choose the correct class from a long list of candidate classes. However, complementary labels are less informative than ordinary labels and thus a suitable approach is needed to better learn from them. In this paper, we show that an unbiased estimator to the classification risk can be obtained only from complementarily labeled data, if a loss function satisfies a particular symmetric condition. We derive estimation error bounds for the proposed method and prove that the optimal parametric convergence rate is achieved. We further show that learning from complementary labels can be easily combined with learning from ordinary labels (i.e., ordinary supervised learning), providing a highly practical implementation of the proposed method. Finally, we experimentally demonstrate the usefulness of the proposed methods.

研究动机与目标

• 动力：在多类分类中，与普通标签相比，对更便宜的互补标签的需求。
• 提出一个风险最小化框架，在对称损失条件下从互补标签获得无偏风险估计。
• 提供理论保证，包括估计误差界和收敛速率。
• 通过将互补标签与普通标签相结合以及在众包场景中展示实际适用性。
• 通过在 MNIST 及若干基准数据集上进行实验来验证该方法。

提出的方法

• 提出一种互补损失，当标签不正确时会产生较大损失。
• 如果损失满足对称条件，则可以从互补标注的数据中无偏地估计分类风险。
• 给出对应于 OVA 与 PC 损失的互补损失的显式形式，例如使用 sigmoid 和 ramp 损失。
• 利用 Rademacher 复杂度推导估计误差界，证明最优的参数化收敛速度为 O_p(1/√n)。
• 给出一个可结合普通标签与互补标签的综合风险，通过一个凸组合(alpha 参数)实现。
• 展示通过随机梯度方法如 Adam 的优化可行性，并展示适合众包数据采集策略。

实验结果

研究问题

• RQ1 在损失的对称性条件下，是否可以仅从互补标注数据无偏估计分类风险？
• RQ2 从互补标签学习的理论保证（估计误差界、一致性、收敛速率）是什么？
• RQ3 如何将互补标签学习与普通监督学习整合以提高数据利用率？
• RQ4 与现有的部分标签或多标签方法相比，互补标签方法在标准数据集上的实证表现如何？

主要发现

• 若损失满足对称条件（L(z)+L(−z)=1），则可以从互补标签中获得分类风险的无偏估计。
• Sigmoid 与 ramp 损失满足用于互补学习的对称条件，从而实现实际的无偏风险估计。
• 该方法达到最优的参数收敛速率 O_p(1/√n) 且是一致的。
• 将互补标签与普通标签结合在实验中提升了性能和数据效率。
• 在 MNIST 与基准数据集上的经验结果显示，与部分标签和多标签基线相比具有竞争力。
• 该框架与众包兼容，便于收集互补标签。