[论文解读] Fine-Grained Object Classification via Self-Supervised Pose Alignment

Xuhui Yang, Yaowei Wang+3 more|arXiv (Cornell University)|Mar 30, 2022

3D Surveying and Cultural Heritage被引用 7

一句话总结

该论文提出P2P-Net，一种用于细粒度图像分类的自监督方法，通过无监督图匹配对判别性局部部件进行对齐，学习对姿态不敏感的物体表征。通过整合基于部件的特征正则化与课程学习策略，该方法在CUB、Stanford Cars和Aircraft数据集上实现了最先进性能，同时提升了特征的紧凑性与对姿态变化的鲁棒性。

ABSTRACT

Semantic patterns of fine-grained objects are determined by subtle appearance difference of local parts, which thus inspires a number of part-based methods. However, due to uncontrollable object poses in images, distinctive details carried by local regions can be spatially distributed or even self-occluded, leading to a large variation on object representation. For discounting pose variations, this paper proposes to learn a novel graph based object representation to reveal a global configuration of local parts for self-supervised pose alignment across classes, which is employed as an auxiliary feature regularization on a deep representation learning network.Moreover, a coarse-to-fine supervision together with the proposed pose-insensitive constraint on shallow-to-deep sub-networks encourages discriminative features in a curriculum learning manner. We evaluate our method on three popular fine-grained object classification benchmarks, consistently achieving the state-of-the-art performance. Source codes are available at https://github.com/yangxh11/P2P-Net.

研究动机与目标

• 解决细粒度物体分类中姿态变化带来的挑战，该问题会降低特征一致性与模型泛化能力。
• 在保留判别性局部部件细节的同时，减少由物体姿态变化引起的类内方差。
• 提出一种无需标注的自监督方法，实现跨图像的局部部件对齐，无需部件或姿态标注。
• 通过一种新型特征正则化方案提升表征判别力，该方案仅在训练阶段使用，推理时可移除，从而提升效率。
• 引入一种使用标签平滑与浅层到深层监督的课程学习策略，逐步学习判别性特征。

提出的方法

• 提出一种无监督部件到姿态（P2P）网络，基于特征金字塔网络（FPN）启发的架构，弱监督地检测显著局部区域。
• 应用对比损失以最小化全局图像特征与局部部件特征之间的分布差异，强制跨视图的特征一致性。
• 设计一种自适应图匹配算法，基于几何配置在图像间对齐检测到的局部部件，实现对姿态不变的表征学习。
• 仅在训练阶段集成基于部件的特征正则化模块，推理时可移除，从而提升效率。
• 通过标签平滑实现从粗到细的监督策略，在浅层与深层子网络中生成由易到难的训练信号。
• 采用双流特征正则化机制，使局部部件特征通过对比学习与全局表征相匹配。

实验结果

研究问题

• RQ1 自监督部件对齐能否有效减少细粒度分类中由物体姿态变化引起的类内方差？
• RQ2 在无部件或姿态标注的情况下，无监督图基部件匹配在提升特征一致性方面的有效性如何？
• RQ3 结合标签平滑的课程学习在提升深度网络中细粒度识别的特征判别力方面，其作用程度如何？
• RQ4 基于部件的特征正则化方案能否在不增加推理开销的前提下应用，从而实现实际部署？
• RQ5 在标准基准上，该方法在准确率与表征紧凑性方面与最先进模型相比表现如何？

主要发现

• P2P-Net在三个基准数据集上均达到最先进性能：在CUB-200-2011上达到90.2%的top-1准确率，在Stanford Cars上达到95.8%，在FGVC-Aircraft上达到92.1%。
• 该方法将CUB上学习表征的平均RMSE降低至0.213，为所有对比方法中的最低值，表明特征紧凑性更高。
• 消融实验表明，无监督部件对齐（UPA）显著提升性能，RMSE从基线+FR的0.268降至基线+FR+UPA的0.213。
• 可视化结果表明，P2P-Net聚焦于判别性部件（如鸟类的头部/身体、汽车的前部/车身），并抑制背景激活，从而提升对相关区域的关注度。
• t-SNE图显示，在应用特征正则化后，表征表现出更紧密的类内聚类与更大的类间距离。
• 在CUB上使用N=4个判别性部件时性能达到最优，准确率峰值为90.2%；而更高的N值无法进一步提升结果。