[论文解读] Learning Granularity-Aware Convolutional Neural Network for Fine-Grained Visual Classification

Jianwei Song, Ruoyu Yang|arXiv (Cornell University)|Mar 4, 2021

Advanced Neural Network Applications参考文献 24被引用 4

一句话总结

该论文提出了一种粒度感知卷积神经网络（GA-CNN），这是一种弱监督方法，用于细粒度视觉分类，通过利用CNN主干网络多个阶段的特征图来学习多粒度特征。通过逐步优化判别性部件定位，结合阶段特定分类器与物体注意力模块，GA-CNN在CUB-200-2011、FGVC-Aircraft和Stanford Cars数据集上实现了最先进（SOTA）的准确率，且无需边界框或部件标注。

ABSTRACT

Locating discriminative parts plays a key role in fine-grained visual classification due to the high similarities between different objects. Recent works based on convolutional neural networks utilize the feature maps taken from the last convolutional layer to mine discriminative regions. However, the last convolutional layer tends to focus on the whole object due to the large receptive field, which leads to a reduced ability to spot the differences. To address this issue, we propose a novel Granularity-Aware Convolutional Neural Network (GA-CNN) that progressively explores discriminative features. Specifically, GA-CNN utilizes the differences of the receptive fields at different layers to learn multi-granularity features, and it exploits larger granularity information based on the smaller granularity information found at the previous stages. To further boost the performance, we introduce an object-attentive module that can effectively localize the object given a raw image. GA-CNN does not need bounding boxes/part annotations and can be trained end-to-end. Extensive experimental results show that our approach achieves state-of-the-art performances on three benchmark datasets.

研究动机与目标

• 解决在细粒度类别中区分细微视觉差异的挑战，因为传统CNN由于感受野过大，难以定位判别性部件。
• 克服依赖最后一层卷积层（其关注整个物体）的局限性，通过利用早期层中更小的感受野来捕捉部件级细节。
• 开发一种弱监督方法，无需边界框或部件级标注，支持端到端训练。
• 通过逐步融合来自不同网络阶段的多粒度特征，提升特征表示能力，增强判别性能。
• 引入物体注意力模块，利用注意力图估计物体边界框，无需监督即可进一步提升性能。

提出的方法

• 利用ResNet-50主干网络中多个阶段（L−S+1至L）的特征图来学习多粒度特征，感受野大小从早期层到后期层逐渐增大。
• 对每个阶段的特征图应用1×1和3×3卷积块，随后进行全局top-k池化（GTKP），以提取紧凑且判别性强的表示。
• 使用交叉熵损失对每个阶段池化后的特征训练独立分类器，实现从粗到细粒度的判别性部件的渐进式学习。
• 集成一个物体注意力模块，生成注意力图以从原始图像中估计物体边界框，从而提升定位精度与特征质量。
• 通过加权平均（α=0.3）融合所有阶段特定分类器的预测结果，结合粗粒度与细粒度预测，实现最终分类。
• 使用SGD优化整个网络，采用余弦退火学习率调度与权重衰减策略，主干网络与新添加层使用不同的初始学习率。

实验结果

研究问题

• RQ1 能否通过不同网络阶段的多粒度特征学习，超越仅依赖最后一层卷积层的性能，从而提升细粒度视觉分类效果？
• RQ2 在无边界框标注的情况下，物体注意力模块在定位物体区域方面的有效性如何？
• RQ3 从粗到细粒度的渐进式特征优化是否能增强判别性表征学习？
• RQ4 在弱监督细粒度视觉分类中，池化操作的选择（GAP、GMP、GTKP）对性能有何影响？
• RQ5 模型性能对加权融合多粒度预测中超参数α的敏感程度如何？

主要发现

• GA-CNN在CUB-200-2011数据集上使用ResNet-50达到了90.4%的最先进准确率，超越了所有先前的弱监督方法，即使使用更先进的主干网络也未能超越。
• 在FGVC-Aircraft数据集上，GA-CNN在使用相同ResNet-50主干网络的方法中表现最佳，展现出强大的泛化能力。
• 消融实验表明，加入物体注意力模块（OAM）后，准确率相比仅使用粒度特定分类器的基线模型（从88.7%提升至90.4%）提高了1.7%。
• 全局top-k池化（GTKP）方法优于GAP与GMP，准确率达到90.38%，表明捕捉多个判别性部件比依赖最大或平均激活更有效。
• 模型对阈值超参数α具有鲁棒性，当α在0.1至0.5之间变化时，准确率波动小于0.7%，表明在不同融合权重下性能稳定。
• 可视化结果证实，物体注意力模块能有效估计物体区域，预测边界框在大多数情况下与真实边界框高度对齐。