[论文解读] Fine-Grained Visual Classification using Self Assessment Classifier

Tuong Do, Huy Tran+3 more|arXiv (Cornell University)|May 21, 2022

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本文提出一种自评估分类器（SAC），通过联合优化top-k预测结果并生成无监督注意力图来抑制类间相似、难以区分的区域，从而提升细粒度视觉分类性能。SAC作为辅助分支，在训练过程中动态擦除非判别性图像区域，使CUB-200-2011、Stanford Dogs和FGVC Aircraft数据集上的准确率达到当前最先进水平，平均准确率提升1.2%。

ABSTRACT

Extracting discriminative features plays a crucial role in the fine-grained visual classification task. Most of the existing methods focus on developing attention or augmentation mechanisms to achieve this goal. However, addressing the ambiguity in the top-k prediction classes is not fully investigated. In this paper, we introduce a Self Assessment Classifier, which simultaneously leverages the representation of the image and top-k prediction classes to reassess the classification results. Our method is inspired by continual learning with coarse-grained and fine-grained classifiers to increase the discrimination of features in the backbone and produce attention maps of informative areas on the image. In practice, our method works as an auxiliary branch and can be easily integrated into different architectures. We show that by effectively addressing the ambiguity in the top-k prediction classes, our method achieves new state-of-the-art results on CUB200-2011, Stanford Dog, and FGVC Aircraft datasets. Furthermore, our method also consistently improves the accuracy of different existing fine-grained classifiers with a unified setup.

研究动机与目标

• 为解决细粒度视觉分类中因类间细微差异导致的混淆问题，即类间相似性引发的误分类问题。
• 减少对昂贵人工标注部件位置的依赖，通过无监督方式学习具有信息量的图像区域。
• 通过在训练过程中重新评估top-k预测结果，提升深度主干网络的特征判别能力。
• 开发一种即插即用模块，增强现有细粒度分类器，而无需对网络架构进行大规模修改。
• 生成聚焦于判别性部件的注意力图，提升定位精度与分类鲁棒性。

提出的方法

• SAC引入一种自评估机制，用于评估top-k预测类别并重新加权其置信度，以降低预测模糊性。
• 该方法以无监督方式生成注意力图，突出显示最有助于区分难以区分类别的图像区域。
• 这些注意力图在训练过程中被用于动态擦除非判别性或具有误导性的区域，从而改善特征学习。
• SAC作为与主干网络相连的辅助分支运行，支持端到端训练，且仅需极少架构修改。
• 模型将类别名称作为输入送入自评估头，为注意力生成与特征优化提供额外监督信号。
• 该方法被集成到多种主干网络架构（如ResNet-50）中，并在多个细粒度基准数据集上进行测试。

实验结果

研究问题

• RQ1 自评估机制能否有效降低细粒度分类中top-k预测的模糊性？
• RQ2 能否在无需人工标注区域的情况下，无监督地生成聚焦于判别性部件的注意力图？
• RQ3 在训练过程中动态擦除模糊图像区域是否能提升特征判别能力与分类准确率？
• RQ4 SAC能否在不同细粒度分类器中通用集成并持续带来性能增益？
• RQ5 与现有弱监督及基于注意力的方法相比，SAC在定位准确率与top-1准确率方面表现如何？

主要发现

• SAC在CUB-200-2011、Stanford Dogs和FGVC Aircraft数据集上达到新的最先进性能，相比基线模型平均准确率提升1.2%。
• 该方法在统一训练设置下，持续提升了多个现有细粒度分类器的准确率。
• 可视化结果表明，SAC显著降低了top-10预测中错误类别的置信度分数，有效减少了类间混淆。
• SAC的定位性能优于随机裁剪与注意力引导裁剪，能更聚焦于更具判别性的、类别特异的区域。
• SAC生成的注意力图在突出关键区分特征（如鸟类头部颜色或飞机发动机形状）方面更加精确。
• 尽管训练与推理时间增加约10%，但性能增益仍使其计算开销具有合理性。