[论文解读] Attribute Aware Pooling for Pedestrian Attribute Recognition

Kai Han, Yunhe Wang+4 more|arXiv (Cornell University)|Jul 27, 2019

Video Surveillance and Tracking Methods参考文献 30被引用 13

一句话总结

本文提出了一种名为属性感知池化（Attribute Aware Pooling, AAP）的新方法，通过在多分支卷积神经网络架构中利用属性共现先验，提升行人属性识别性能。通过整合各分支预测与属性间的上下文关联，AAP在基准数据集上实现了更高的准确率，在PETA数据集上达到86.97%的平均准确率，性能达到当前最先进水平。

ABSTRACT

This paper expands the strength of deep convolutional neural networks (CNNs) to the pedestrian attribute recognition problem by devising a novel attribute aware pooling algorithm. Existing vanilla CNNs cannot be straightforwardly applied to handle multi-attribute data because of the larger label space as well as the attribute entanglement and correlations. We tackle these challenges that hampers the development of CNNs for multi-attribute classification by fully exploiting the correlation between different attributes. The multi-branch architecture is adopted for fucusing on attributes at different regions. Besides the prediction based on each branch itself, context information of each branch are employed for decision as well. The attribute aware pooling is developed to integrate both kinds of information. Therefore, attributes which are indistinct or tangled with others can be accurately recognized by exploiting the context information. Experiments on benchmark datasets demonstrate that the proposed pooling method appropriately explores and exploits the correlations between attributes for the pedestrian attribute recognition.

研究动机与目标

• 解决多属性行人识别中属性纠缠且频繁共现的挑战。
• 克服普通卷积神经网络在处理大规模标签空间及行人图像中复杂属性关联时的局限性。
• 通过利用训练数据中属性共现模式的先验知识，提升识别准确率。
• 构建一个可泛化的深度学习框架，将上下文感知决策机制融入多分支卷积神经网络。
• 证明属性感知池化作为多属性分类任务正则化技术的有效性。

提出的方法

• 采用多分支卷积神经网络架构，其中共享的低层特征提取网络提取基础特征，各专用分支分别聚焦于不同属性组。
• 从训练数据中构建两个共现矩阵 $C$ 和 $ ilde{C}$，以编码属性共现统计信息。
• 基于矩阵推导出的共现先验，估计上下文感知的属性概率 $P^+$。
• 通过可学习融合参数 $\lambda$ 将各分支独立预测与上下文感知估计相结合，形式为 $\hat{\mathbf{p}} = (1-\lambda)\mathbf{p} + \lambda P^+$。
• 使用批量大小为32、输入图像调整为 $512 \times 256$ 的设置，通过Adam优化器微调整个模型。
• 训练过程中应用随机裁剪至 $448 \times 224$ 及水平翻转数据增强，使用ImageNet预训练权重进行模型初始化。

实验结果

研究问题

• RQ1 属性共现先验是否能显著提升卷积神经网络在多属性行人识别任务中的性能？
• RQ2 整合相关属性的上下文信息如何影响对模糊或纠缠属性的识别？
• RQ3 所提出的属性感知池化方法在多大程度上优于未集成上下文信息的标准多分支卷积神经网络？
• RQ4 该方法在具有不同属性集合与数据分布的多个基准数据集上是否具备良好的泛化能力？
• RQ5 由超参数 $\lambda$ 控制的个体分支预测与上下文感知估计之间的最优平衡点是什么？

主要发现

• 所提出的CoCNN模型在PETA数据集上实现了86.97%的平均准确率，优于所有先前的最先进方法。
• 在RAP和PA-100K数据集上，CoCNN在所有评估指标（平均准确率、精确率、F1值、召回率）中均达到最高或第二高的得分。
• 仅使用多分支架构相比普通ResNet-50已提升性能，而加入属性感知池化后进一步显著提升。
• 定性分析表明，AAP通过利用如"Female"和"Backpack"等相关属性的上下文信息，纠正了如"Skirt&Dress"和"AgeLess18"等误预测。
• 在PETA数据集上，最优超参数 $\lambda = 0.2$ 能够在个体预测与上下文感知估计之间实现最佳平衡，从而获得最佳性能。
• 该方法展现出良好的鲁棒性与泛化能力，相同的 $\lambda = 0.2$ 设置在所有三个基准数据集上均表现良好，无需重新调参。