[论文解读] Class Anchor Clustering: a Loss for Distance-based Open Set Recognition

Dimity Miller, Niko Sünderhauf+2 more|arXiv (Cornell University)|Apr 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用 4

一句话总结

本文提出了一种新型基于距离的损失函数——类别锚点聚类（Class Anchor Clustering, CAC），该方法通过在logit空间中固定类别特定中心，训练深度神经网络在这些中心周围形成紧密且区分度高的聚类。通过将类别中心锚定而非在训练过程中学习，CAC在TinyImageNet上将开放集识别性能提升了15.2% AUROC，且未牺牲分类准确率，尤其在基于物体的数据集和大规模类别场景下表现优异。

ABSTRACT

In open set recognition, deep neural networks encounter object classes that were unknown during training. Existing open set classifiers distinguish between known and unknown classes by measuring distance in a network's logit space, assuming that known classes cluster closer to the training data than unknown classes. However, this approach is applied post-hoc to networks trained with cross-entropy loss, which does not guarantee this clustering behaviour. To overcome this limitation, we introduce the Class Anchor Clustering (CAC) loss. CAC is a distance-based loss that explicitly trains known classes to form tight clusters around anchored class-dependent centres in the logit space. We show that training with CAC achieves state-of-the-art performance for distance-based open set classifiers on all six standard benchmark datasets, with a 15.2% AUROC increase on the challenging TinyImageNet, without sacrificing classification accuracy. We also show that our anchored class centres achieve higher open set performance than learnt class centres, particularly on object-based datasets and large numbers of training classes.

研究动机与目标

• 解决现有开放集分类器依赖于交叉熵训练后在logit空间中进行后处理距离度量的局限性，此类方法无法保证已知类别聚类的紧密性。
• 通过在logit空间中显式训练已知类别聚类于特定类别、固定中心周围，提升开放集识别性能。
• 探究预先固定的锚定类别中心是否在具有高类内差异性的基于物体的数据集上优于训练过程中学习的类别中心。
• 评估在训练类别数量增加时，锚定中心的可扩展性与鲁棒性。
• 开发一种损失函数，在不降低标准分类准确率的前提下提升开放集性能。

提出的方法

• 引入一种新的损失项——类别锚点聚类（CAC），强制已知训练样本在logit空间中紧密聚类于预定义的、类别特定的中心。
• 使用固定且依赖类别的值在logit空间中锚定类别中心，从而在反向传播中无需学习这些中心。
• 将CAC损失与标准交叉熵损失结合，以确保分类与聚类目标的端到端联合优化，提升训练稳定性。
• 采用基于距离的目标函数，最小化每个样本的logit向量与其对应锚定类别中心之间的L2距离。
• 在训练过程中应用CAC损失，以促进已知类别聚类之间的空间分离，并将未知样本推向远离这些聚类的方向。
• 使用标准开放集基准上的AUROC评估性能，比较在不同数据集和类别复杂度下，锚定中心与学习中心的表现。

实验结果

研究问题

• RQ1 在logit空间中使用锚定类别中心进行训练，是否能带来优于训练过程中学习类别中心的开放集识别性能？
• RQ2 与仅使用交叉熵训练相比，CAC损失如何改善已知类别在logit空间中的聚类效果？
• RQ3 在具有高类内差异性的基于物体的数据集（如CIFAR10和TinyImageNet）上，使用锚定中心是否能带来性能优势？
• RQ4 随着已知类别数量的增加，使用锚定中心的CAC损失性能如何变化？
• RQ5 CAC损失对超参数选择是否具有鲁棒性，特别是锚定幅度和损失权重？

主要发现

• 使用CAC损失在全部六个标准基准数据集上实现了基于距离的开放集识别的最先进性能。
• 在具有挑战性的TinyImageNet数据集上，与先前方法相比，CAC将AUROC提升了15.2%，且未造成分类准确率下降。
• 在基于物体的数据集（CIFAR10变体和TinyImageNet）上，使用中心损失时，锚定类别中心平均优于学习类别中心2.2%；使用CAC损失时，优势为0.85%。
• 随着训练类别数量的增加，锚定中心与学习中心之间的性能差距持续扩大，表明锚定中心在大规模类别场景下具有更好的可扩展性。
• 使用锚定中心训练的网络收敛速度比使用学习中心的网络快约50%，表明训练过程更稳定且效率更高。
• CAC损失对超参数变化具有鲁棒性，在锚定损失权重（0.05–0.8）和锚定幅度（5–20）的广泛范围内，分类准确率和AUROC的变化均小于4%。