[论文解读] Class Anchor Clustering: a Distance-based Loss for Training Open Set Classifiers

Dimity Miller, Niko Sünderhauf+2 more|arXiv (Cornell University)|Apr 6, 2020

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出类锚点聚类（Class Anchor Clustering, CAC），一种基于距离的损失函数，通过在logit空间中将深度神经网络的特征聚类到固定、与类别相关的锚点中心，实现对已知类的紧致聚类。通过在训练过程中显式优化此类聚类，CAC在不降低准确率的前提下，使TinyImageNet上的AUROC提升2.4%，优于使用可学习中心的先前方法。

ABSTRACT

In open set recognition, deep neural networks encounter object classes that were unknown during training. Existing open set classifiers distinguish between known and unknown classes by measuring distance in a network's logit space, assuming that known classes cluster closer to the training data than unknown classes. However, this approach is applied post-hoc to networks trained with cross-entropy loss, which does not guarantee this clustering behaviour. To overcome this limitation, we introduce the Class Anchor Clustering (CAC) loss. CAC is a distance-based loss that explicitly trains known classes to form tight clusters around anchored class-dependent cluster centres in the logit space. We show that training with CAC achieves state-of-the-art open set performance for distance-based open set classifiers on the standard benchmark datasets, with a 2.4% performance increase in AUROC on the challenging TinyImageNet, without sacrificing classification accuracy. We also show that our anchored class centres achieve higher open set performance than learnt class centres, particularly on object-based datasets and large numbers of training classes.

研究动机与目标

• 解决现有开放集分类器依赖于logit空间中事后距离度量，而缺乏聚类优化的局限性。
• 通过在神经网络训练过程中显式训练已知类别在logit空间中围绕特定类别锚点中心形成紧致聚类，从而提升开放集识别性能。
• 探究在开放集识别中，固定锚点中心是否优于可学习的类别中心，尤其是在基于物体的数据集以及已知类别数量较多的情况下。
• 在显著提升未知类别检测能力的同时，保持高零样本分类准确率，以应对开放集场景。

提出的方法

• 提出一种新型基于距离的损失函数——类锚点聚类（CAC），通过最小化每个样本的logit表示与固定、类别相关的锚点中心之间的距离。
• 使用预定义的、类别特定的锚点中心——从已知训练数据中提取——而非在训练过程中学习动态聚类中心。
• 将CAC损失与标准交叉熵损失联合使用，以同时优化分类准确率与类内紧凑性。
• 强制已知类别样本在logit空间中向其对应的锚点中心靠拢，促进紧致聚类并增强与未知类别样本的分离。
• 采用基于边距的约束，确保已知类别聚类与未知类别样本的分布保持分离。
• 使用组合损失进行网络训练：交叉熵损失用于分类，CAC损失用于聚类紧凑性，锚点中心初始化为每类训练样本的平均激活值。

实验结果

研究问题

• RQ1 与事后基于距离的方法相比，是否可以通过在logit空间中显式训练已知类别围绕固定锚点中心聚类，来提升开放集识别性能？
• RQ2 在大规模和基于物体的数据集上，使用固定类别锚点中心是否优于学习动态聚类中心？
• RQ3 CAC损失在标准基准上对AUROC的提升程度如何，且是否在不降低标准分类准确率的前提下实现？
• RQ4 随着已知类别数量的增加，以及在TinyImageNet等具有挑战性的数据集上，CAC的性能如何变化？

主要发现

• 与先前最先进基于距离的开放集分类器相比，CAC在TinyImageNet基准上实现了AUROC绝对提升2.4%。
• 使用固定类别锚点中心相比可学习聚类中心，能显著提升开放集性能，尤其在基于物体的数据集和大量训练类别下表现更优。
• CAC在保持高标准分类准确率的同时，显著提升了模型检测未知类别样本的能力。
• CAC的性能提升在具有挑战性的开放集场景中最为显著，展现出在不同数据集规模和类别构成下的鲁棒性。