[论文解读] Differentiable Top-k Classification Learning

Felix Petersen, Hilde Kuehne+2 more|arXiv (Cornell University)|Jun 15, 2022

Anomaly Detection Techniques and Applications被引用 10

一句话总结

本文提出了一种可微分的 top-k 交叉熵损失，通过从可学习分布 P_K 中采样 k 值，同时优化多个 k 值，利用可微分排序与排名实现端到端训练。该方法在仅进行最后一层微调的情况下，显著提升了 top-1 和 top-5 准确率，在 ImageNet-1K 上实现了新的 SOTA 结果，且使用公开可用的模型。

ABSTRACT

The top-k classification accuracy is one of the core metrics in machine learning. Here, k is conventionally a positive integer, such as 1 or 5, leading to top-1 or top-5 training objectives. In this work, we relax this assumption and optimize the model for multiple k simultaneously instead of using a single k. Leveraging recent advances in differentiable sorting and ranking, we propose a differentiable top-k cross-entropy classification loss. This allows training the network while not only considering the top-1 prediction, but also, e.g., the top-2 and top-5 predictions. We evaluate the proposed loss function for fine-tuning on state-of-the-art architectures, as well as for training from scratch. We find that relaxing k does not only produce better top-5 accuracies, but also leads to top-1 accuracy improvements. When fine-tuning publicly available ImageNet models, we achieve a new state-of-the-art for these models.

研究动机与目标

• 解决 top-k 分类中固定 k 值的局限性，即模型通常仅针对单一 k 值（如 top-1）进行训练，尽管评估时使用多个 k 指标。
• 通过在训练中使用 k 值的分布而非单一固定 k 值，提升模型的泛化能力与鲁棒性。
• 通过将可微分排序与排名整合到损失函数中，实现 top-k 分类的端到端可微训练。
• 证明放松 k 值不仅提升 top-k 准确率，也提升 top-1 性能，尤其在微调场景中表现更优。

提出的方法

• 利用可微分排序与排名方法（如 SinkhornSort、DiffSortNets）计算类别排名的概率分布，实现可微分的 top-k 操作。
• 定义 k 值上的分布 P_K（例如，50% top-1，50% top-2），使模型能够同时在多种 top-k 目标上进行训练。
• 通过从 P_K 导出的累积权重，计算 top-k 概率的加权和，实现通过排序操作的梯度传播。
• 利用所得概率分布 p 计算对网络权重可微的交叉熵损失。
• 采用分割器选择网络以减少 k 选择所需的层数，提升效率。
• 在 CIFAR-100、ImageNet-1K 和 ImageNet-21K-P 上，于微调和从头训练场景下应用该损失，评估其可扩展性与性能表现。

实验结果

研究问题

• RQ1 使用 k 值分布而非固定 k 值进行训练，是否能同时提升 top-1 和 top-5 分类准确率？
• RQ2 通过可微分排序与排名实现的可微分 top-k 学习，是否能在标准分类任务中带来更好的泛化与鲁棒性？
• RQ3 所提出的损失是否能在计算成本极低（如仅微调分类头）的情况下，于 ImageNet-1K 上实现 SOTA 性能？
• RQ4 该方法在包含超过 10,000 个类别的大规模数据集（如 ImageNet-21K-P）上是否具备可扩展性？
• RQ5 即使基线模型已预训练且高度优化，该方法是否仍优于标准的 top-1 交叉熵损失？

主要发现

• 所提出的 top-k 损失在所有评估数据集（包括 CIFAR-100、ImageNet-1K 和 ImageNet-21K-P）上均提升了 top-1 和 top-5 准确率。
• 在 ImageNet-1K 上，该方法在微调 Noisy Student EfficientNet-L2 模型时，实现了 88.37% 的新 SOTA top-1 准确率与 98.68% 的 top-5 准确率。
• ResNeXt-101 32x48d WSL 模型的 top-5 准确率提升 0.2%，对应错误率降低 10%，且仅需极低的计算成本，远低于完整微调。
• 在 ImageNet-21K-P 上，仅通过最后一层微调，该方法实现了超过 1% 的 top-5 准确率绝对提升，证明其在大规模分类任务中的可扩展性。
• 显著性检验确认提升结果具有统计显著性（p < 0.01），top-1 准确率的 p 值为 0.00001，top-5 准确率的 p 值为 0.00005。
• 该方法在多种可微分排序方法上均持续优于基线 top-1 交叉熵损失，其中 DiffSortNets 和 SinkhornSort 展现最强提升效果。