[论文解读] Every Untrue Label is Untrue in its Own Way: Controlling Error Type with the Log Bilinear Loss

Yehezkel S. Resheff, Amit Mandelbaum+1 more|arXiv (Cornell University)|Apr 20, 2017

Domain Adaptation and Few-Shot Learning参考文献 12被引用 7

一句话总结

本文引入了双线性和对数双线性损失函数，通过根据真实标签和预测标签对误分类进行差异化惩罚，从而控制深度学习中的错误类型。实验表明，这些损失函数在保持高整体准确率的同时，显著提高了在CIFAR-100等层次化数据集上错误被限制在正确超类中的比例，使用对数双线性损失时，高达36.58%的错误被定位到正确的超类。

ABSTRACT

Deep learning has become the method of choice in many application domains of machine learning in recent years, especially for multi-class classification tasks. The most common loss function used in this context is the cross-entropy loss, which reduces to the log loss in the typical case when there is a single correct response label. While this loss is insensitive to the identity of the assigned class in the case of misclassification, in practice it is often the case that some errors may be more detrimental than others. Here we present the bilinear-loss (and related log-bilinear-loss) which differentially penalizes the different wrong assignments of the model. We thoroughly test this method using standard models and benchmark image datasets. As one application, we show the ability of this method to better contain error within the correct super-class, in the hierarchically labeled CIFAR100 dataset, without affecting the overall performance of the classifier.

研究动机与目标

• 解决标准交叉熵损失在多分类任务中的局限性，即对所有误分类一视同仁，不考虑标签身份差异。
• 开发一种基于真实标签和错误标签的损失函数，实现对错误类型的差异化惩罚，从而实现对错误分布的控制。
• 评估此类损失是否能将误分类错误限制在层次化标签体系（如CIFAR-100）的正确超类内。
• 评估所提损失在低数据场景下的有效性，特别是针对罕见或样本极少的类别。

提出的方法

• 提出双线性损失作为标准交叉熵损失的附加组件，其计算依赖于真实标签和预测标签。
• 将双线性损失定义为真实标签与错误标签的函数，其中包含可学习或固定的惩罚矩阵，用于编码期望的错误偏好。
• 引入对数双线性损失变体，即在计算误差惩罚前对输出概率应用对数变换。
• 使用超参数α来平衡标准交叉熵损失与双线性或对数双线性误差惩罚项。
• 采用基于掩码的方法，定义哪些错误类型应受到更重惩罚，例如将错误引导远离特定错误标签。
• 在MNIST、CIFAR-10和CIFAR-100等标准基准数据集上，对深度神经网络进行端到端训练时应用这些损失函数。

实验结果

研究问题

• RQ1 通过区分错误类型，修改后的损失函数是否能有效控制深度神经网络中误分类错误的分布？
• RQ2 双线性和对数双线性损失在多大程度上能在保持整体分类准确率的同时，将错误模式引导至特定目标标签？
• RQ3 这些损失函数是否可用于将错误限制在CIFAR-100等层次化分类设置中的正确超类内？
• RQ4 在低数据场景下，这些损失函数的有效性如何，特别是在某些类别训练数据严重受限时？
• RQ5 在低置信度误分类场景下，对数双线性变体是否优于双线性损失？

主要发现

• 在CIFAR-100数据集上，双线性损失在α=0.5时将被限制在正确超类中的错误比例提升至34.61%，而对数双线性损失达到了36.58%。
• 尽管总错误略有增加，对数双线性损失在将错误定位到超类内部方面表现优于双线性损失。
• 在小样本实验中，即使每类仅有10或50个训练样本，双线性损失仍将小样本类的超类准确率提升至50.14%（α=0.5），高于基线的49.42%。
• 当训练期间某类完全无样本（N=0）时，仍有49.42%的测试样本被分配至正确超类，表明模型具备强大的超类结构学习能力。
• 在层次化CIFAR-100设置中，双线性损失优于对数双线性损失，可能是因为后者对低置信度预测更为敏感。
• 所提出的损失函数在保持或略微提升整体模型准确率的同时，实现了对错误分布的细粒度控制。