[论文解读] A hierarchical loss and its problems when classifying non-hierarchically

Cinna Wu, Mark Tygert+1 more|arXiv (Cornell University)|Sep 1, 2017

Image Retrieval and Classification Techniques参考文献 16被引用 8

一句话总结

本文提出了一种分层损失函数，利用语义类别层次结构（如分类树）来对分类错误施加更重的惩罚，当错误发生在语义上不相似的类别之间（例如，牧羊犬 vs. 摩天大楼）时，惩罚程度高于发生在语义上相似的类别之间（例如，牧羊犬 vs. 撒道尔牧羊犬）。尽管该分层损失作为评估分类器性能的度量优于标准方法，但使用随机初始化的标准随机梯度下降进行训练通常无法有效最小化该损失，限制了其作为优化目标的实用性，尽管其在超度量树上的理论基础坚实。

ABSTRACT

Failing to distinguish between a sheepdog and a skyscraper should be worse and penalized more than failing to distinguish between a sheepdog and a poodle; after all, sheepdogs and poodles are both breeds of dogs. However, existing metrics of failure (so-called "loss" or "win") used in textual or visual classification/recognition via neural networks seldom leverage a-priori information, such as a sheepdog being more similar to a poodle than to a skyscraper. We define a metric that, inter alia, can penalize failure to distinguish between a sheepdog and a skyscraper more than failure to distinguish between a sheepdog and a poodle. Unlike previously employed possibilities, this metric is based on an ultrametric tree associated with any given tree organization into a semantically meaningful hierarchy of a classifier's classes. An ultrametric tree is a tree with a so-called ultrametric distance metric such that all leaves are at the same distance from the root. Unfortunately, extensive numerical experiments indicate that the standard practice of training neural networks via stochastic gradient descent with random starting points often drives down the hierarchical loss nearly as much when minimizing the standard cross-entropy loss as when trying to minimize the hierarchical loss directly. Thus, this hierarchical loss is unreliable as an objective for plain, randomly started stochastic gradient descent to minimize; the main value of the hierarchical loss may be merely as a meaningful metric of success of a classifier.

研究动机与目标

• 解决标准交叉熵损失在神经网络分类中未考虑类别间语义相似性的问题。
• 开发一种反映类别之间先验语义关系（如分类层次结构中的关系）的分层损失函数。
• 评估使用该分层损失进行优化是否能提升分类性能，特别是与标准交叉熵损失相比，尤其在低数据场景下。
• 探究在随机初始化下，使用标准随机梯度下降优化分层损失的可行性。
• 确定该分层损失是否能作为分类器成功更合理的度量标准，优于标准指标。

提出的方法

• 该方法将分层胜率定义为从根节点到真实类别叶节点路径上所有节点概率的加权和。
• 分层损失被表述为该分层胜率的负对数，使其成为可微分的优化目标。
• 树结构被约束为超度量树，确保所有叶节点到根节点的距离相等，从而保证语义距离度量的一致性。
• 节点概率通过其下所有叶节点概率之和计算，实现预测结果的分层聚合。
• 该方法在多个具有预定义类别层次结构的数据集上进行了应用，包括 RCV1-v2、Yahoo Answers、DBpedia 和 LSHTC1。
• 训练采用标准随机梯度下降配合反向传播，通过网格搜索学习率和训练轮数来调整超参数。

实验结果

研究问题

• RQ1 与标准交叉熵损失相比，使用分层损失进行优化是否能提升分类准确率，特别是在低数据场景下？
• RQ2 在随机初始化下，标准随机梯度下降能否有效最小化分层损失？
• RQ3 与直接优化粗粒度分类相比，分层损失在性能上表现如何？
• RQ4 在不依赖优化性能的情况下，分层损失在多大程度上可作为有意义的成功度量？
• RQ5 哪些因素决定了分层损失在不同数据集和层次结构中是否带来性能提升？

主要发现

• 使用分层损失进行优化，其粗粒度分类准确率的提升几乎与直接优化粗粒度准确率相当，如表5所示。
• 在某些数据集上（如表2），使用分层损失训练在所有指标上均优于交叉熵损失；而在其他数据集上（如表1），其表现更差。
• 在表3和表4中，分层损失未表现出显著优势，表明其在不同数据集上的收益不一致。
• 在表6中，分层损失在大多数指标上损害了性能，但其粗粒度准确率的提升仍几乎与直接粗粒度优化相当。
• 尽管其理论优势明显，但在标准SGD与随机初始化下，分层损失作为优化目标效果甚微，表明其可能容易陷入局部最优。
• 由于其对语义差异的敏感性，分层损失即使作为优化目标失败，仍是评估分类器性能的宝贵度量标准。