[论文解读] Fine-grained Recognition: Accounting for Subtle Differences between Similar Classes

Guolei Sun, Hisham Cholakkal+3 more|arXiv (Cornell University)|Dec 14, 2019

Advanced Neural Network Applications参考文献 33被引用 10

一句话总结

本文提出了一种新颖的方法，通过引入一个多样化模块（diversification block），强制深层网络关注物体之间细微且非显著的特征，同时设计了一种梯度提升损失（gradient-boosting loss），选择性地增强最易混淆的类别对的梯度。该方法通过显式建模类别间的模糊性并减少过拟合，在五个细粒度基准数据集上实现了更快的收敛速度和最先进（SOTA）的准确率。

ABSTRACT

The main requisite for fine-grained recognition task is to focus on subtle discriminative details that make the subordinate classes different from each other. We note that existing methods implicitly address this requirement and leave it to a data-driven pipeline to figure out what makes a subordinate class different from the others. This results in two major limitations: First, the network focuses on the most obvious distinctions between classes and overlooks more subtle inter-class variations. Second, the chance of misclassifying a given sample in any of the negative classes is considered equal, while in fact, confusions generally occur among only the most similar classes. Here, we propose to explicitly force the network to find the subtle differences among closely related classes. In this pursuit, we introduce two key novelties that can be easily plugged into existing end-to-end deep learning pipelines. On one hand, we introduce diversification block which masks the most salient features for an input to force the network to use more subtle cues for its correct classification. Concurrently, we introduce a gradient-boosting loss function that focuses only on the confusing classes for each sample and therefore moves swiftly along the direction on the loss surface that seeks to resolve these ambiguities. The synergy between these two blocks helps the network to learn more effective feature representations. Comprehensive experiments are performed on five challenging datasets. Our approach outperforms existing methods using similar experimental setting on all five datasets.

研究动机与目标

• 为解决细粒度视觉分类（FGVC）中高度相似物体类别之间的区分难题，其中细微差异至关重要但常被忽略。
• 克服现有深度学习模型仅关注最显著判别性部分的局限，从而导致泛化能力差和过拟合。
• 通过双机制显式正则化特征表示与预测置信度，提升模型鲁棒性与泛化能力。
• 通过聚焦于最模糊、最易混淆的类别对而非平均对待所有负样本，加速优化过程并提升性能。

提出的方法

• 引入一个多样化模块，对输入图像中最显著的特征进行掩码，迫使网络依赖更细微、分布式的线索进行分类。
• 设计一种梯度提升损失函数，选择性地增强每个样本中k个最令人困惑的负类的梯度，而非同等对待所有负类。
• 损失函数使用抑制因子α控制梯度提升的程度，α值越小，性能越好。
• 多样化模块与梯度提升损失与标准端到端深度学习流水线兼容，可轻松集成到现有模型中。
• 该方法促使注意力分布在多个有信息量的区域（如鸟喙、尾羽、脚部）而非集中于单一主导部分。
• 两个组件之间的协同作用增强了特征多样性并提升了可分性，尤其在难以区分的类别上表现更优。

实验结果

研究问题

• RQ1 如何促使深度网络关注细微的非显著特征，而非仅关注最判别性的部分？
• RQ2 选择性地将优化聚焦于最令人困惑的类别对，而非所有负类，会产生何种影响？
• RQ3 能否通过提升难负样本的梯度来改善细粒度分类中的收敛速度与最终准确率？
• RQ4 多样化模块在多大程度上通过防止注意力集中于单一区域来减少过拟合？
• RQ5 所提方法是否能泛化到标准图像分类基准（如ImageNet）而不仅限于细粒度数据集？

主要发现

• 在CUB-200-2011数据集上，所提方法将Top-1准确率从基线交叉熵（CE）的86.3%提升至87.7%，绝对提升1.4%。
• 梯度提升损失在准确率与收敛速度方面优于其他最先进损失函数，如中心损失（center loss）、LGM损失与最大熵损失（max entropy loss）。
• 消融实验表明，设置抑制因子α = 0.1时性能最佳，而α = 1.0（无多样化）时结果更差。
• 训练曲线显示，所提方法相比交叉熵损失收敛显著更快，且泛化能力更强，避免了在训练集上的过拟合。
• 在ImageNet上，梯度提升损失相比标准交叉熵损失实现了更快收敛与更低错误率，证实其在细粒度数据集之外也具有泛化能力。
• 对类别激活图的定性分析表明，多样化模块成功地将注意力分散到多个有信息量的区域，而基线模型仅聚焦于一个主导部分。