[论文解读] Fine-Grained Visual Classification via Progressive Multi-Granularity Training of Jigsaw Patches

Ruoyi Du, Dongliang Chang+5 more|arXiv (Cornell University)|Mar 8, 2020

3D Surveying and Cultural Heritage参考文献 38被引用 22

一句话总结

该论文提出了一种用于细粒度视觉分类的渐进式多粒度（PMG）训练框架，通过渐进式训练策略和拼图块生成器，在多个视觉粒度上学习并融合特征。该方法通过从细粒度到粗粒度的逐级训练，在CUB、Stanford Cars和FGVC-Aircraft等标准基准上实现了最先进性能，其中拼图生成器在每个阶段增强了判别性特征的学习。

ABSTRACT

Fine-grained visual classification (FGVC) is much more challenging than traditional classification tasks due to the inherently subtle intra-class object variations. Recent works mainly tackle this problem by focusing on how to locate the most discriminative parts, more complementary parts, and parts of various granularities. However, less effort has been placed to which granularities are the most discriminative and how to fuse information cross multi-granularity. In this work, we propose a novel framework for fine-grained visual classification to tackle these problems. In particular, we propose: (i) a progressive training strategy that effectively fuses features from different granularities, and (ii) a random jigsaw patch generator that encourages the network to learn features at specific granularities. We obtain state-of-the-art performances on several standard FGVC benchmark datasets, where the proposed method consistently outperforms existing methods or delivers competitive results. The code will be available at https://github.com/PRIS-CV/PMG-Progressive-Multi-Granularity-Training.

研究动机与目标

• 解决细粒度视觉分类（FGVC）中的挑战，其中类内细微差异使得准确的子类别识别变得困难。
• 克服现有方法仅关注检测判别性部件但未能系统识别最优粒度或有效融合多粒度特征的局限性。
• 开发一种弱监督框架，在无需部件标注的情况下学习多粒度间的互补特征。
• 探究渐进式训练与拼图块生成如何协同提升FGVC中的特征学习与模型泛化能力。

提出的方法

• 提出一种渐进式训练策略，逐步增加网络阶段，从细粒度块开始，逐步过渡到更粗粒度的块，且早期阶段的参数用于初始化后续阶段。
• 引入一种拼图块生成器，将输入图像均匀划分为块，随机打乱以形成不同粒度级别的新图像，促使模型在每个尺度上学习判别性特征。
• 在每个训练阶段使用中间监督，使模型学习分类由拼图生成的图像，从而促进对多粒度下判别性局部区域的关注。
• 仅在推理阶段连接所有阶段的特征，以实现多粒度表征的互补融合。
• 使用仅图像级别类别标签端到端训练整个网络，避免对部件标注或复杂后处理的需求。
• 通过超参数 $ n $ 控制粒度级别，其中 $ n = 2^{L-l+1} $ 对应阶段 $ l $，确保更细的块用于早期阶段，更粗的块用于后期阶段。

实验结果

研究问题

• RQ1 在细粒度图像中，最具判别性的特征位于哪些粒度级别，以及如何系统识别这些特征？
• RQ2 如何有效融合多粒度特征以提升分类性能，尤其是在类内差异较大的情况下？
• RQ3 从细粒度块开始并逐步过渡到更粗粒度块的渐进式训练策略，是否能改善特征学习与模型准确率？
• RQ4 拼图块生成器在多大程度上增强了模型在不同粒度级别上学习判别性局部特征的能力？
• RQ5 在弱监督FGVC中，实现最佳性能的最优训练阶段数和块粒度级别数是多少？

主要发现

• 所提出的PMG训练框架在使用4个训练阶段且配备拼图生成器（$ n = 8,4,2,1 $）时，在CUB-200-2011数据集上实现了最先进准确率89.6%。
• 性能在 $ S = 3 $ 个阶段时达到峰值，准确率为88.9%，但在 $ S = 4 $ 时下降至88.0%，$ S = 5 $ 时进一步降至87.2%，表明收益递减且过小的块可能引发性能退化。
• 若无拼图生成器，最佳性能为88.3%（$ S = 3 $），表明拼图生成器相比基线渐进式训练提供了显著的0.6%性能提升。
• Grad-CAM可视化结果证实，所提方法在早期阶段学习到对判别性小尺度特征（如眼睛、羽毛图案）的关注，并在后期阶段逐渐转向更大尺度特征，而基线模型仅在最后一层激活。
• 拼图生成器有效促使模型在每个粒度级别上学习有意义且具有判别性的局部区域，如所有阶段的注意力图更全面且覆盖更完整的物体。
• 当 $ n > 8 $ 时，拼图块过小，难以保留有用的语义信息，导致混淆与性能下降，尤其在深层阶段更为明显。