[论文解读] Learning with Biased Complementary Labels

Xiyu Yu, Tongliang Liu+2 more|arXiv (Cornell University)|Nov 27, 2017

Machine Learning and Data Classification参考文献 22被引用 8

一句话总结

本文提出了一种新颖的框架，用于学习带有偏差的互补标签——即标注者错误地将他们认为错误的类别标记为标签——通过建模真实标签与互补标签之间的非均匀转移概率。该方法利用清晰、易于识别的样本无偏估计这些概率，修改标准损失函数以处理偏差，并在理论上保证收敛到最优分类器，在基准数据集上的准确率超越最先进方法超过10%。

ABSTRACT

In this paper, we study the classification problem in which we have access to easily obtainable surrogate for true labels, namely complementary labels, which specify classes that observations do extbf{not} belong to. Let $Y$ and $\bar{Y}$ be the true and complementary labels, respectively. We first model the annotation of complementary labels via transition probabilities $P(\bar{Y}=i|Y=j), i eq j\in\{1,\cdots,c\}$, where $c$ is the number of classes. Previous methods implicitly assume that $P(\bar{Y}=i|Y=j), \forall i eq j$, are identical, which is not true in practice because humans are biased toward their own experience. For example, as shown in Figure 1, if an annotator is more familiar with monkeys than prairie dogs when providing complementary labels for meerkats, she is more likely to employ "monkey" as a complementary label. We therefore reason that the transition probabilities will be different. In this paper, we propose a framework that contributes three main innovations to learning with extbf{biased} complementary labels: (1) It estimates transition probabilities with no bias. (2) It provides a general method to modify traditional loss functions and extends standard deep neural network classifiers to learn with biased complementary labels. (3) It theoretically ensures that the classifier learned with complementary labels converges to the optimal one learned with true labels. Comprehensive experiments on several benchmark datasets validate the superiority of our method to current state-of-the-art methods.

研究动机与目标

• 为解决现有方法假设互补标签选择均匀的局限性，该假设忽略了现实世界中标注者的偏差。
• 在无偏情况下建模并估计每类的转移概率 $ P(\bar{Y}=i|Y=j) $，利用每类中易于识别的清晰样本。
• 开发一种通用方法，以适应标准深度神经网络损失函数，用于学习带有偏差的互补标签。
• 在理论上证明，使用互补标签训练的分类器在所提出的框架下可收敛到使用真实标签训练的最优分类器。
• 通过在多样化基准数据集上的实证验证，证明该方法优于最先进方法。

提出的方法

• 该方法通过类别条件转移概率 $ P(\bar{Y}=i|Y=j) $ 建模互补标签的标注过程，由于人类偏差，实际中这些概率是非均匀的。
• 通过利用每类 $ j $ 的一小部分清晰、高置信度样本 $ \mathbf{x}_j $ 实现无偏估计 $ P(\bar{Y}=i|Y=j) $，其中 $ P(Y=j|\mathbf{x}_j) = 1 $。
• 该框架利用恒等式 $ P(\bar{Y}=i|Y=j) = P(\bar{Y}=i|\mathbf{x}_j) $，从互补标签数据中估计转移概率。
• 通过整合估计的转移概率，修改标准交叉熵损失函数，从而实现对有偏差互补标签的有效训练。
• 通过证明最小化修改后的损失函数可得到与最小化真实标签损失函数相同的解，确保收敛到最优分类器。
• 应用塔拉格朗德收缩引理（Talagrand’s contraction lemma）和损失函数的Lipschitz连续性，以有界Rademacher复杂度，支持泛化性。

实验结果

研究问题

• RQ1 当由于人类经验导致选择过程非均匀时，我们能否在无偏情况下估计真实标签与互补标签之间的转移概率？
• RQ2 我们如何调整标准深度学习损失函数，以有效从有偏差的互补标签中学习？
• RQ3 在有偏差的互补标签设定下，所提出的方法是否能保证收敛到使用真实标签训练的最优分类器？
• RQ4 在准确率和样本效率方面，该方法与最先进方法相比表现如何？
• RQ5 在实践中，该方法是否从有偏差的互补标签中获益多于从均匀假设中获益？

主要发现

• 在包括MNIST、CIFAR和Tiny ImageNet在内的基准数据集上，该方法相比最先进方法实现了超过10%的准确率提升。
• 在UCI数据集上，该方法显著优于现有方法，表现出在多样化数据分布下的鲁棒性。
• 理论分析证实，使用互补标签训练的分类器可以以保证的速率收敛到使用真实标签训练的最优分类器。
• 实证结果表明，该方法从有偏差的互补标签中获益多于从均匀假设中获益，能够在小样本训练下实现高性能。
• 实证验证表明，该框架在有偏差设定下收敛更有效，表明建模非均匀性可提升学习效率。
• 利用每类的清晰样本可实现准确、无偏的转移概率估计，这对性能至关重要。