[论文解读] Bird Species Categorization Using Pose Normalized Deep Convolutional Nets

Steve Branson, Grant Van Horn+2 more|arXiv (Cornell University)|Jun 11, 2014

Identification and Quantification in Food参考文献 29被引用 415

一句话总结

本文提出一种姿态归一化的深度卷积神经网络，用于细粒度鸟类物种分类，通过关键点检测在特征提取前对图像块进行对齐。通过结合多个姿态归一化区域的微调特征，并利用一种新颖的基于图的聚类方法进行姿态空间学习，该方法在 CUB-200-2011 数据集上实现了 75.7% 的 top-1 准确率，显著优于先前的 SOTA 方法。

ABSTRACT

We propose an architecture for fine-grained visual categorization that approaches expert human performance in the classification of bird species. Our architecture first computes an estimate of the object's pose; this is used to compute local image features which are, in turn, used for classification. The features are computed by applying deep convolutional nets to image patches that are located and normalized by the pose. We perform an empirical study of a number of pose normalization schemes, including an investigation of higher order geometric warping functions. We propose a novel graph-based clustering algorithm for learning a compact pose normalization space. We perform a detailed investigation of state-of-the-art deep convolutional feature implementations and fine-tuning feature learning for fine-grained classification. We observe that a model that integrates lower-level feature layers with pose-normalized extraction routines and higher-level feature layers with unaligned image features works best. Our experiments advance state-of-the-art performance on bird species recognition, with a large improvement of correct classification rates over previous methods (75% vs. 55-65%).

研究动机与目标

• 解决鸟类物种细粒度视觉分类中的挑战，其中亲缘关系相近的物种之间细微差异会阻碍分类。
• 在 CUB-200-2011 数据集上实现超越先前 SOTA 方法的性能，后者仅达到 55–65% 的准确率。
• 开发一种鲁棒的姿态归一化框架，以减少鸟类姿态和视角变化带来的可变性。
• 研究不同深度学习特征提取策略和微调协议对细粒度识别的影响。
• 设计一种基于新型图聚类算法的紧凑可学习姿态归一化空间，以提升泛化能力并减少误差。

提出的方法

• 利用检测到的关键点估计鸟类姿态，并基于此计算基于相似性的形变函数，将图像块对齐至典型姿态。
• 对姿态归一化的图像块应用深度卷积神经网络（CNN），从多个网络层提取特征以增强判别能力。
• 引入一种基于图的聚类算法，学习一组紧凑且优化的姿态归一化模板，以最小化像素级对齐误差。
• 采用两步训练协议在 CUB-200-2011 数据集上对 ImageNet 预训练的 CNN 进行微调，以提升细粒度任务的特征表示能力。
• 将来自多个姿态归一化区域（如头部、躯干）的特征与全局图像及边界框特征拼接，以提升性能。
• 利用多个关键点对估计的相似性形变函数，实现超越简单仿射变换的高阶几何归一化。

实验结果

研究问题

• RQ1 与在未对齐图像上使用标准 CNN 相比，基于关键点的形变对齐姿态归一化在细粒度鸟类物种分类中有多大提升？
• RQ2 在使用姿态归一化区域与全局对齐特征时，CNN 层和特征提取策略的最佳组合是什么？
• RQ3 一种新颖的基于图的聚类方法在学习紧凑且判别性强的姿态归一化空间方面有多有效？
• RQ4 在 CUB-200-2011 数据集上对预训练 CNN 进行微调，能在多大程度上提升细粒度识别性能？
• RQ5 关键点检测不完美时如何影响整体分类准确率？鲁棒的 CNN 特征在多大程度上能缓解这种退化？

主要发现

• 所提方法在 CUB-200-2011 数据集上达到 75.7% 的 top-1 准确率，相较于先前 SOTA 方法，错误率相对降低了 30%。
• 当使用真实部件标注时，结合多个姿态归一化区域（如头部和躯干）的特征可将性能提升至 85.4%，显著优于单区域基线方法。
• 在 CUB-200-2011 数据集上对 ImageNet 预训练的 CNN 进行微调，可使所有区域类型和 CNN 层的准确率提升 2–10%，其中两步微调方法带来更稳定的增益。
• 使用低层 CNN 特征提取姿态归一化特征，而使用高层特征提取未对齐特征，可获得最佳性能，表明特征表示保真度存在层级结构。
• 即使关键点检测不完美，模型仍保持强性能（75.7% 准确率），仅从使用真实部件时的 85.4% 略有下降，表明对检测误差具有鲁棒性。
• 在 CUB-200-2011 数据集上从零开始训练 CNN 导致性能极差（图像级准确率仅 10.9%），凸显了在小样本数据集上使用 ImageNet 预训练以避免过拟合的必要性。