[论文解读] Fine-grained Visual Categorization using PAIRS: Pose and Appearance Integration for Recognizing Subcategories.

Pei Guo, Ryan Farrell|arXiv (Cornell University)|Jan 27, 2018

Advanced Neural Network Applications参考文献 38被引用 7

一句话总结

本文提出 PAIRS，一种细粒度视觉分类方法，通过利用预测的关键点对提取姿态对齐的图像块，实现稳定的外观特征学习与显式的部件级注意力。通过将特定于图像块的分类网络与聚合网络相结合，PAIRS 在 CUB-200-2011 上实现了 89.2% 的准确率，通过有效整合姿态与外观特征，创下新的最先进水平。

ABSTRACT

In Fine-grained Visual Categorization (FGVC), the differences between similar categories are often highly localized to a small number of object parts, and significant pose variation therefore constitutes a great challenge for identification. To address this, we propose extracting image patches using pairs of predicted keypoint locations as anchor points. The benefits of this approach are two-fold: (1) it achieves explicit top-down visual attention on object parts, and (2) the extracted patches are pose-aligned and thus contain stable appearance features. We employ the popular Stacked Hourglass Network to predict keypoint locations, reporting state-of-the-art keypoint localization results on the challenging CUB-200-2011 dataset. Anchored by these predicted keypoints, an overcomplete basis of pose-aligned patches is extracted and a specialized appearance classification network is trained for each patch. An aggregating network is then applied to combine the patch networks' individual predictions, producing a final classification score. Our PAIRS algorithm attains an accuracy of 88.6%, an increase of 1.1% over the current state-of-the-art. Enhancing the base PAIRS model with single-keypoint patches produces a further improvement, yielding a new state-of-the-art accuracy of 89.2% on the CUB dataset and clearly demonstrating the power of integrating pose and appearance features.

研究动机与目标

• 为解决细粒度视觉分类中姿态变化带来的挑战，其中子类别由微小的部件差异定义。
• 通过利用关键点预测作为锚点来提升物体部件的定位精度。
• 通过提取与预测关键点配置对齐的图像块，提升外观特征的稳定性。
• 通过联合建模姿态与外观，在细粒度分类基准上实现最先进性能。

提出的方法

• 该方法使用堆叠小时钟网络（Stacked Hourglass Network）预测输入图像的关键点位置，在 CUB-200-2011 上实现了最先进水平的定位性能。
• 图像块通过成对预测的关键点位置作为锚点进行提取，确保在不同视角下保持姿态对齐。
• 生成姿态对齐图像块的过完备基，以覆盖同一部件的多种空间配置。
• 为每个图像块独立训练专用的深度卷积网络，以姿态稳定的方式分类外观特征。
• 通过一个独立的聚合网络将各个图像块的预测结果融合为最终分类得分。
• 通过引入单关键点图像块进一步增强模型的鲁棒性与准确率。

实验结果

研究问题

• RQ1 基于关键点的图像块提取是否能在显著姿态变化下提升细粒度识别性能？
• RQ2 图像块的姿态对齐如何影响外观特征的稳定性和判别性？
• RQ3 与整体图像特征相比，整合多个姿态对齐图像块在多大程度上提升了分类准确率？
• RQ4 在成对关键点图像块提取的基础上，增加单关键点图像块是否能进一步提升性能？

主要发现

• PAIRS 在 CUB-200-2011 数据集上实现了 88.6% 的测试准确率，相较于之前的最先进水平提升了 1.1%。
• 通过引入单关键点图像块，模型在 CUB-200-2011 基准上达到了新的最先进准确率 89.2%。
• 使用关键点对作为锚点可实现对判别性物体部件的显式自顶向下注意力，提升定位敏感度。
• 姿态对齐的图像块能产生更稳定且更具判别性的外观特征，降低对视角变化的敏感性。
• 聚合网络有效融合了图像块级别的预测结果，体现了多部件建模的优势。
• 堆叠小时钟网络在 CUB-200-2011 上实现了最先进水平的关键点定位性能，支持了整个框架的有效性。