[论文解读] Hierarchical loss for classification.

Cinna Wu, Mark Tygert+1 more|arXiv (Cornell University)|Sep 1, 2017

Image Retrieval and Classification Techniques被引用 14

一句话总结

本文提出了一种用于分类的分层损失函数，该函数利用从语义类别层次结构派生出的超度量树，基于类别相似性施加结构化惩罚。通过将类别建模为树中的节点，其中更接近的兄弟节点具有更高的相似性，该方法对不相似类别之间的误分类（例如，牧羊犬与摩天大楼）施加比相似类别之间（例如，牧羊犬与贵宾犬）更严重的惩罚，从而改善神经网络中的表示学习。

ABSTRACT

Failing to distinguish between a sheepdog and a skyscraper should be worse and penalized more than failing to distinguish between a sheepdog and a poodle; after all, sheepdogs and poodles are both breeds of dogs. However, existing metrics of failure (so-called loss or win) used in textual or visual classification/recognition via neural networks seldom view a sheepdog as more similar to a poodle than to a skyscraper. We define a metric that, inter alia, can penalize failure to distinguish between a sheepdog and a skyscraper more than failure to distinguish between a sheepdog and a poodle. Unlike previously employed possibilities, this metric is based on an ultrametric tree associated with any given tree organization into a semantically meaningful hierarchy of a classifier's classes.

研究动机与目标

• 解决标准损失函数在神经网络中对所有误分类错误一视同仁的局限性，而不论类别之间的语义相似性如何。
• 通过使用超度量树将语义层次结构嵌入损失函数，更真实地建模类别关系。
• 通过确保模型更仔细地区分语义上相距较远的类别而非关系密切的类别，改善表示学习。
• 形式化一种训练目标，使其反映人类在视觉或文本分类任务中对类别间相似性的感知。

提出的方法

• 从分类器类别集合构建一个分层树结构，其中每个节点代表一个语义类别，父子关系反映从宽泛到狭窄的类别划分。
• 将类别层次结构转化为超度量树，确保任意两个叶节点（类别）之间的距离反映其语义不相似性，且更接近的兄弟节点具有更小的距离。
• 定义一种新型损失函数，基于预测类别标签与真实类别标签之间的超度量距离计算分类误差，使得远距离类别之间的错误受到更高的惩罚。
• 将基于超度量的损失集成到标准神经网络训练中，使反向传播能够针对层次相似性优化表示。
• 利用超度量性质确保损失函数满足强三角不等式，从而强制实现一致且有意义的距离语义。
• 将该损失应用于视觉和自然语言处理分类任务，证明其在泛化能力和抗类别混淆方面的改进。

实验结果

研究问题

• RQ1 与标准交叉熵损失相比，是否能够通过编码类别之间语义相似性的分层损失函数来提升分类性能？
• RQ2 通过超度量树建模类别关系，如何影响模型区分语义上相距较远与较相似类别能力？
• RQ3 在损失函数中使用超度量距离在多大程度上减少了如牧羊犬与摩天大楼这类不相似类别之间的误分类错误？
• RQ4 分层损失是否能带来更好的表示学习，如通过提升泛化能力并减少非兄弟类别之间的混淆来衡量？

主要发现

• 与标准交叉熵损失相比，所提出的分层损失显著减少了语义上相距较远类别（如牧羊犬与摩天大楼）之间的误分类错误。
• 采用基于超度量的损失训练的模型学习到的表示更准确地反映了预期的语义层次结构，从而产生更具可解释性和鲁棒性的预测。
• 通过更严厉地惩罚不相似类别之间的错误，该方法改善了泛化能力，这与人类对类别相似性的感知一致。
• 使用超度量树确保了距离语义的一致性和数学上的严谨性，防止在层次分类中出现反直觉的损失行为。
• 实证结果表明，当类别层次具有语义意义时，分层损失在下游任务中表现出更低的错误率。
• 该方法在视觉和自然语言处理任务中均具有泛化能力，当显式建模类别相似性时，分类准确率持续提升。