[论文解读] Gait Recognition via Effective Global-Local Feature Representation and Local Temporal Aggregation

Beibei Lin, Shunli Zhang+1 more|arXiv (Cornell University)|Nov 3, 2020

Gait Recognition and Analysis参考文献 26被引用 16

一句话总结

本文提出了一种基于3D CNN的新型步态识别框架，通过全局与局部特征提取器（GLFE）中的新型全局与局部卷积层（GLConv），融合全局与局部特征，增强特征的判别性。此外，通过引入局部时间聚合（LTA）替代传统的空间池化操作，进一步提升了空间分辨率，在CASIA-B和OUMVLP数据集上实现了最先进性能，正常条件下达到97.4%的rank-1准确率。

ABSTRACT

Gait recognition is one of the most important biometric technologies and has been applied in many fields. Recent gait recognition frameworks represent each gait frame by descriptors extracted from either global appearances or local regions of humans. However, the representations based on global information often neglect the details of the gait frame, while local region based descriptors cannot capture the relations among neighboring regions, thus reducing their discriminativeness. In this paper, we propose a novel feature extraction and fusion framework to achieve discriminative feature representations for gait recognition. Towards this goal, we take advantage of both global visual information and local region details and develop a Global and Local Feature Extractor (GLFE). Specifically, our GLFE module is composed of our newly designed multiple global and local convolutional layers (GLConv) to ensemble global and local features in a principle manner. Furthermore, we present a novel operation, namely Local Temporal Aggregation (LTA), to further preserve the spatial information by reducing the temporal resolution to obtain higher spatial resolution. With the help of our GLFE and LTA, our method significantly improves the discriminativeness of our visual features, thus improving the gait recognition performance. Extensive experiments demonstrate that our proposed method outperforms state-of-the-art gait recognition methods on two popular datasets.

研究动机与目标

• 解决现有步态识别方法仅依赖全局或局部特征的局限性，这些方法无法同时捕捉上下文信息与细节特征。
• 通过在统一的3D CNN框架中联合学习全局外观与局部区域表征，提升特征判别性。
• 通过引入一种新型的局部时间聚合（LTA）操作，避免传统池化层导致的空间信息损失，从而保留空间信息。
• 通过使用广义均值（GeM）池化实现自适应池化，提升在不同条件下的鲁棒性，从而增强空间特征映射能力。

提出的方法

• 全局与局部特征提取器（GLFE）模块集成了多个GLConv层，可同时从步态序列中提取全局视觉外观与局部区域细节。
• GLConv层被设计为以系统化方式编码全局上下文与局部结构信息，实现联合特征学习。
• 局部时间聚合（LTA）取代首个空间池化层，通过在局部片段中聚合时间信息，提升有效空间分辨率。
• 该方法使用3D卷积处理时空步态序列，LTA在首次空间下采样前应用，以减少信息损失。
• 采用广义均值（GeM）池化进行空间特征映射，实现自适应聚合，其性能优于最大池化或平均池化。
• 该框架在CASIA-B和OUMVLP数据集上使用标准的跨视角协议进行训练与评估，并对下采样与池化策略进行了消融研究。

实验结果

研究问题

• RQ1 在基于3D CNN的框架中，联合学习全局与局部特征是否能提升步态表征的判别性？
• RQ2 用局部时间聚合（LTA）替代传统空间池化是否能保留更多空间信息并提升识别准确率？
• RQ3 在不同条件下，通过GeM实现的自适应空间池化与最大池化或平均池化相比，其鲁棒性如何？
• RQ4 在不因时间信息损失而过拟合的前提下，下采样策略（LTA与SP）的最优配置是什么？
• RQ5 所提出的GLFE模块通过多层GLConv与单分支全局或局部特征提取器相比，在识别准确率上有何差异？

主要发现

• 所提方法在CASIA-B数据集正常条件（NM）下达到97.4%的rank-1准确率，优于当前最先进方法。
• 在GLConv层中使用N=8的GLFE模块性能最佳，在NM条件下达到97.4%，BG条件下为94.5%，CL条件下为83.6%。
• LTA+SP下采样策略在NM条件下实现97.4%的准确率，优于SP+SP（96.3%）与LTA+LTA（94.4%），表明在时空权衡上达到最优平衡。
• GeM池化在所有条件下平均准确率最高（91.8%），在BG与CL设置下分别优于最大池化与平均池化0.5%与1.1%。
• 消融研究证实，通过GLFE联合全局与局部特征显著优于仅使用全局或局部特征，最佳配置在NM条件下达到97.4%的准确率。