[论文解读] Fine-grained pose prediction, normalization, and recognition

Ning Zhang, Evan Shelhamer+2 more|arXiv (Cornell University)|Nov 22, 2015

Image Processing and 3D Reconstruction参考文献 21被引用 49

一句话总结

本文提出一种端到端、全卷积的深度神经网络，联合预测关键点位置，学习姿态归一化的特征，并执行细粒度分类。通过在坐标变换层中整合关键点定位与特征池化，该模型在 CUB200-2011 基准测试中实现了 85.92% 的准确率，证明了在细粒度识别中利用关键点对应关系进行强监督的有效性。

ABSTRACT

Pose variation and subtle differences in appearance are key challenges to fine-grained classification. While deep networks have markedly improved general recognition, many approaches to fine-grained recognition rely on anchoring networks to parts for better accuracy. Identifying parts to find correspondence discounts pose variation so that features can be tuned to appearance. To this end previous methods have examined how to find parts and extract pose-normalized features. These methods have generally separated fine-grained recognition into stages which first localize parts using hand-engineered and coarsely-localized proposal features, and then separately learn deep descriptors centered on inferred part positions. We unify these steps in an end-to-end trainable network supervised by keypoint locations and class labels that localizes parts by a fully convolutional network to focus the learning of feature representations for the fine-grained classification task. Experiments on the popular CUB200 dataset show that our method is state-of-the-art and suggest a continuing role for strong supervision.

研究动机与目标

• 将部件定位、姿态归一化与细粒度分类统一到一个端到端可训练的网络中。
• 通过关键点标注提供的强监督，提升细粒度识别的准确率。
• 通过使用全卷积的关键点预测，消除对人工设计提议框或边界框先验的依赖。
• 设计一种坐标变换层，基于预测的关键点位置对特征进行池化，以实现姿态不变表示学习。
• 证明联合训练关键点检测与分类相比分阶段或弱监督方法能获得更优性能。

提出的方法

• 使用全卷积网络直接从输入图像预测关键点位置，实现在无需边界框的情况下实现空间精确的定位。
• 引入坐标变换层（语义池化层），利用预测的关键点坐标从激活图中池化特征，实现姿态归一化的特征提取。
• 通过联合损失函数（结合分类损失与关键点定位损失）进行端到端训练，使反向传播能够同时优化部件检测与特征学习。
• 采用紧凑双线性池化，将部件特征聚合为丰富且具有判别力的表示，用于细粒度分类。
• 采用双流架构：一个定位网络用于关键点预测，一个分类网络通过坐标变换层聚合部件特征。
• 利用预训练的 ImageNet 模型，并通过弱监督数据（辅以强关键点监督）微调整个网络。

实验结果

研究问题

• RQ1 关键点定位与细粒度分类的端到端联合训练是否能共同提升识别准确率？
• RQ2 通过预测的关键点实现姿态归一化，是否能获得比无显式关键点监督的全局或部件模型更优的特征表示？
• RQ3 在细粒度识别任务中，通过关键点标注实现的强监督与仅使用类别标签的弱监督相比，效果如何？
• RQ4 全卷积架构是否能在不依赖区域提议或边界框先验的情况下实现高精度的关键点定位？
• RQ5 与分阶段流水线相比，联合优化定位与分类在多大程度上减少了误差传播？

主要发现

• 所提方法在 CUB200-2011 数据集上实现了 85.92% 的 top-1 准确率，创下细粒度识别的新 SOTA 记录。
• 使用紧凑双线性池化与姿态归一化特征后，准确率达到 83.00%；进一步微调部件网络后，性能提升至 85.92%。
• 模型在无需边界框监督的情况下实现了优异的部件定位性能，α=0.05 时 PCK（关键点定位正确率）达到 76.3%，优于先前无边界框监督的方法。
• 消融实验表明，联合训练关键点定位头与分类头的效果优于分别训练，后者准确率下降至 65.10%。
• 坐标变换层能有效在预测的关键点位置池化特征，生成姿态不变的表示，显著增强细粒度类别间的判别能力。
• 可视化结果表明，预测的关键点能准确定位在鸟类身体部位上，仅存在因左右混淆或小尺度边界导致的少量误差。