[论文解读] Attribute Recognition from Adaptive Parts

Luwei Yang, Ligen Zhu+3 more|arXiv (Cornell University)|Jul 5, 2016

Advanced Neural Network Applications被引用 3

一句话总结

本文提出一种端到端深度学习框架，通过从关键点生成自适应部件，并利用空间变换器优化部件区域以提升属性分类性能，联合学习关键点估计与属性识别。该方法在两个新的人体属性数据集上优于两阶段基线模型，通过直接优化部件位置以提升属性识别性能，实现了最先进精度。

ABSTRACT

Previous part-based attribute recognition approaches perform part detection and attribute recognition in separate steps. The parts are not optimized for attribute recognition and therefore could be sub-optimal. We present an end-to-end deep learning approach to overcome the limitation. It generates object parts from key points and perform attribute recognition accordingly, allowing adaptive spatial transform of the parts. Both key point estimation and attribute recognition are learnt jointly in a multi-task setting. Extensive experiments on two datasets verify the efficacy of proposed end-to-end approach.

研究动机与目标

• 解决两阶段基于部件的属性识别方法中部件未针对属性分类进行优化的局限性。
• 克服因固定边界框未与特定属性需求对齐而导致的次优部件检测问题。
• 提出一种联合学习框架，同时优化关键点与自适应部件，以提升属性识别性能。
• 构建两个全新的、标注丰富的数据集——MPII-Attribute和Garment-Attribute——用于细粒度人体属性识别。
• 证明端到端学习结合自适应部件可显著提升鲁棒性与精度，优于部件检测器与分类器分开训练的方法。

提出的方法

• 使用深度神经网络在多任务学习设置下联合预测关键点并执行属性识别。
• 利用可学习的空间变换器模块，从检测到的关键点生成自适应物体部件，通过双线性采样实现特征扭曲。
• 对每个部件分别应用空间变换，根据属性识别目标动态调整每个部件的空间范围。
• 对边界框宽高比施加正则化，并使用回归损失进行关键点估计，以稳定训练过程。
• 使用共享的卷积主干网络进行特征提取，随后进行部件特定的特征采样与分类头设计。
• 端到端联合训练整个网络，损失函数包含属性分类损失、关键点回归损失以及宽高比正则化损失。

实验结果

研究问题

• RQ1 端到端学习关键点与属性识别是否能优于两阶段方法？
• RQ2 从关键点生成的自适应部件是否能优于固定边界框的部件检测器，用于局部属性识别？
• RQ3 关键点与属性分类的联合优化是否能提升在姿态变化下的鲁棒性？
• RQ4 所提方法与基于理想姿态的基线模型以及部件检测器单独训练的方法相比表现如何？
• RQ5 所提数据集在支持复杂姿态与局部属性的细粒度属性识别方面，其有效性如何？

主要发现

• 在MPII-Attribute数据集上，所提端到端方法达到76.24%的平均精度，优于最佳基线模型（74.75%），提升1.49个百分点。
• 在Garment-Attribute数据集上，该方法达到77.48%的平均精度，超过第二佳基线模型（75.50%），提升1.98个百分点。
• 关键点在0.1归一化距离内（以躯干长度为基准）的检测率达到92.7%，优于单独训练的基线模型。
• 该方法在困难属性（如'DoubleButton'：3.87% vs. 基线13.07%；'Lapel'：64.08% vs. 基线64.93%）上表现更优，显示出对细微区别的鲁棒性。
• 自适应部件的使用提升了泛化能力，体现在各类属性组与部件类型上均保持一致的性能提升。
• 即使在较小数据集上，该方法仍取得高于基线模型的精度，表明其具有强大的样本效率及对类别不平衡的鲁棒性。