[论文解读] Leveraging Class Hierarchies with Metric-Guided Prototype Learning

Vivien Sainte Fare Garnot, Loïc Landrieu|arXiv (Cornell University)|Jul 6, 2020

Anomaly Detection Techniques and Applications参考文献 46被引用 14

一句话总结

本文提出一种度量引导的原型学习方法，通过正则化原型嵌入以反映层次距离，将预定义的类别层次结构整合到原型网络中。通过联合优化特征提取与原型定位，并采用无尺度失真损失，该方法降低了平均层次成本与错误率，尤其在小样本数据集和具有大量兄弟类的复杂层次结构上表现更优。

ABSTRACT

In many classification tasks, the set of target classes can be organized into a hierarchy. This structure induces a semantic distance between classes, and can be summarised under the form of a cost matrix, which defines a finite metric on the class set. In this paper, we propose to model the hierarchical class structure by integrating this metric in the supervision of a prototypical network. Our method relies on jointly learning a feature-extracting network and a set of class prototypes whose relative arrangement in the embedding space follows an hierarchical metric. We show that this approach allows for a consistent improvement of the error rate weighted by the cost matrix when compared to traditional methods and other prototype-based strategies. Furthermore, when the induced metric contains insight on the data structure, our method improves the overall precision as well. Experiments on four different public datasets - from agricultural time series classification to depth image semantic segmentation - validate our approach.

研究动机与目标

• 通过建模语义错误成本来提升分类可靠性。
• 通过将层次结构融入深度学习，降低平均层次成本（AHC）与错误率（ER）。
• 实现特征提取器与原型的联合学习，同时尊重层次距离，且不增加模型复杂度。
• 证明专家定义的分类体系可提升泛化能力，尤其在训练数据有限时。

提出的方法

• 该方法引入一种与尺度无关的失真度量，用于衡量层次度量空间与原型嵌入空间之间的差异。
• 将基于此失真的平滑、可微分正则项加入损失函数，以引导原型在嵌入空间中的位置。
• 正则项确保语义上相近的类别（如分类法中的兄弟类）在嵌入空间中位置更接近，反映其较低的错误成本。
• 该方法兼容任意主干网络，且无需额外参数或计算开销。
• 通过无尺度公式自动适应失真尺度，避免手动超参数调优。
• 原型与特征嵌入联合优化，使网络能够从数据中学习有意义的层次结构。

实验结果

研究问题

• RQ1 将预定义的类别层次结构整合到原型学习中，能否降低预测的平均层次成本（AHC）？
• RQ2 度量引导的原型学习是否能提升泛化能力，尤其在小样本数据集上？
• RQ3 原型与特征提取器的联合优化与分阶段训练在层次分类中的表现相比如何？
• RQ4 层次结构的复杂度（如兄弟类数量）在多大程度上影响该方法的性能提升？
• RQ5 该方法能否同时改善AHC与标准准确率（未加权错误率）？

主要发现

• 在iNaturalist-19数据集上，与基线相比，该方法将错误率降低了0.9个百分点，相当于最佳基线方法改进幅度的一半。
• 在CIFAR100、NYUDv2、S2-Agri和iNaturalist-19四个数据集上，该方法始终降低了AHC。
• 在小规模训练集（如iNaturalist-19的10%）上，该方法优于基线及基线+原型方法，展现出优异的数据效率。
• 无尺度失真公式通过缓解兄弟类间接近性与不同类别原型间排斥力之间的冲突，提升了iNaturalist-19上的性能。
• 与固定原型微调相比，联合训练原型与特征提取器使iNaturalist-19上的错误率降低了5个百分点。
• 该方法同时改善了AHC与标准准确率，表明层次先验可超越成本感知评估，进一步提升泛化能力。