[论文解读] Feature Boosting, Suppression, and Diversification for Fine-Grained Visual Classification

Jianwei Song, Ruoyu Yang|arXiv (Cornell University)|Mar 4, 2021

Advanced Image and Video Retrieval Techniques参考文献 41被引用 6

一句话总结

本文提出了一种轻量级、端到端的细粒度视觉分类框架，通过显式部件挖掘与交互增强特征学习。该方法引入了特征增强与抑制模块（FBSM），通过依次突出显示和抑制显著区域，强制网络关注多个判别性部件；并提出了特征多样化模块（FDM），通过融合其他部件的互补信息来丰富每个部件特定的表征，从而在无需边界框或部件标注的情况下实现最先进性能。

ABSTRACT

Learning feature representation from discriminative local regions plays a key role in fine-grained visual classification. Employing attention mechanisms to extract part features has become a trend. However, there are two major limitations in these methods: First, they often focus on the most salient part while neglecting other inconspicuous but distinguishable parts. Second, they treat different part features in isolation while neglecting their relationships. To handle these limitations, we propose to locate multiple different distinguishable parts and explore their relationships in an explicit way. In this pursuit, we introduce two lightweight modules that can be easily plugged into existing convolutional neural networks. On one hand, we introduce a feature boosting and suppression module that boosts the most salient part of feature maps to obtain a part-specific representation and suppresses it to force the following network to mine other potential parts. On the other hand, we introduce a feature diversification module that learns semantically complementary information from the correlated part-specific representations. Our method does not need bounding boxes/part annotations and can be trained end-to-end. Extensive experimental results show that our method achieves state-of-the-art performances on several benchmark fine-grained datasets. Source code is available at https://github.com/chaomaer/FBSD.

研究动机与目标

• 为解决基于注意力的方法过度聚焦最显著部件而忽略细微但具有区分性的部件这一局限性。
• 通过显式建模部件间的语义关系，克服部件特征的孤立性。
• 开发一种轻量级、可端到端训练的框架，无需边界框或部件级标注。
• 通过显式的增强、抑制与多样化机制，提升特征表征的多样性与判别性。

提出的方法

• 特征增强与抑制模块（FBSM）通过增强特征图中最显著的区域来生成部件特定表征，随后抑制该区域，迫使后续网络层发现其他潜在部件。
• FBSM被插入到CNN（如ResNet）的多个阶段，以在不同层次生成多个独特的部件特定特征。
• 特征多样化模块（FDM）通过聚合来自其他部件的语义互补特征，丰富每个部件特定表征，从而提升判别性。
• FDM无需额外可学习参数，通过跨部件聚合提升特征丰富度。
• 该框架仅通过图像级监督实现端到端训练，避免了复杂的数据采样或多裁剪策略。
• 该方法即插即用，可兼容现有CNN架构（如ResNet），无需架构重构。

Figure 1: Illustration of large intra-class and small inter-class variations in FGVC. The images with large variations in each row belong to the same class. However, the images with small variations in each column belong to different classes. This situation is opposite to generic visual classificati

实验结果

研究问题

• RQ1 在中间层显式增强与抑制显著特征，能否有效促使网络在细粒度图像中发现多个可区分部件？
• RQ2 通过特征多样化建模部件间关系，如何在不增加参数量的前提下提升分类准确率？
• RQ3 轻量级、可端到端训练的模块在标准细粒度基准上，能否超越现有弱监督方法？
• RQ4 缺乏部件标注或边界框是否会影响性能，该方法是否仍能实现SOTA结果？

主要发现

• 以ResNet50为骨干网络，该方法在CUB-200-2011数据集上达到89.3%的top-1准确率，超越先前SOTA方法（包括API-Net与Cross-X）。
• 在FGVC-Aircraft数据集上，准确率达到92.7%，优于MAMC、NTS、MEG-CNN、DTB-Net、CIN与FDL，接近DCL与LIO。
• 在Stanford Cars数据集上，准确率达到94.4%，显著优于FDL，展现出强大的跨数据集泛化能力。
• 在Stanford Dogs数据集上，准确率达到88.2%，超越RA-CNN、MAMC与FDL，即使在高计算复杂度下也表现出良好的可扩展性。
• 消融实验表明，FBSM在各数据集上带来+3.4%至+6.4%的准确率增益，而FDM在不增加参数量的前提下额外提升+0.4%至+0.7%。
• 可视化结果表明，FBSM成功将注意力从最显著部件（如鸟类的翅膀）转移至其他部件（如头部、尾部），而FDM增强了特征图，使其覆盖多个相关区域。

Figure 2: The overview of our method.