[论文解读] Learning Effective Representations from Global and Local Features for Cross-View Gait Recognition

Beibei Lin, Shunli Zhang+3 more|arXiv (Cornell University)|Nov 3, 2020

Gait Recognition and Analysis参考文献 19被引用 16

一句话总结

本文提出一种全局与局部特征提取器（GLFE）及局部时间聚合（LTA）方法，通过专用卷积层融合全局外观特征与局部区域特征，以增强步态识别性能。该方法提升了特征的判别能力，并在CASIA-B和OUMVLP数据集上达到最先进性能。

ABSTRACT

Gait recognition is one of the most important biometric technologies and has been applied in many fields. Recent gait recognition frameworks represent each human gait frame by descriptors extracted from either global appearances or local regions of humans. However, the representations based on global information often neglect the details of the gait frame, while local region based descriptors cannot capture the relations among neighboring regions, thus reducing their discriminativeness. In this paper, we propose a novel feature extraction and fusion framework to achieve discriminative feature representations for gait recognition. Towards this goal, we take advantage of both global visual information and local region details and develop a Global and Local Feature Extractor (GLFE). Specifically, our GLFE module is composed of our newly designed multiple global and local convolutional layers (GLConv) to ensemble global and local features in a principle manner. Furthermore, we present a novel operation, namely Local Temporal Aggregation (LTA), to further preserve the spatial information by reducing the temporal resolution to obtain higher spatial resolution. With the help of our GLFE and LTA, our method significantly improves the discriminativeness of our visual features, thus improving the gait recognition performance. Extensive experiments demonstrate that our proposed method outperforms state-of-the-art gait recognition methods on popular widely-used CASIA-B and OUMVLP datasets.

研究动机与目标

• 为解决现有步态识别方法中仅关注全局特征（全局仅用）而忽略局部细节，或仅关注局部区域而忽略区域间空间关系（局部仅用）的局限性。
• 构建一个统一框架，有效结合全局视觉上下文与细粒度的局部区域细节，以提升特征表示能力。
• 通过一种新型操作降低时间分辨率以提升空间分辨率，从而在时间序列中保留空间信息。
• 增强步态特征的判别能力，以提升跨视角场景下的识别准确率。

提出的方法

• 提出一种全局与局部特征提取器（GLFE）模块，采用新设计的多组全局与局部卷积层（GLConv），以系统化方式提取并融合全局与局部特征。
• 引入局部时间聚合（LTA），一种新型操作，通过降低时间分辨率以提升空间分辨率，从而在帧间保留空间结构。
• 采用多尺度特征融合策略，利用GLConv层将全局外观描述符与局部区域描述符进行融合，以增强特征的判别能力。
• 采用分层特征学习方法，其中全局特征捕捉整体步态姿态，局部特征编码肢体与身体部位的运动细节。
• 在通道维度进行特征融合，以保持空间一致性并提升下游识别任务的表示质量。
• 采用标准分类损失端到端训练网络，以优化跨视角步态识别中的判别性特征学习。

实验结果

研究问题

• RQ1 结合全局外观与局部区域特征是否能提升跨视角识别中步态表征的判别能力？
• RQ2 在步态识别的时间序列建模中，如何保留局部区域之间的空间关系？
• RQ3 通过降低时间分辨率以提升空间分辨率，是否能增强特征质量与识别准确率？
• RQ4 所提出的GLFE与LTA框架在基准步态数据集上相较于现有最先进方法的性能提升程度如何？

主要发现

• 所提方法在CASIA-B步态数据集上达到最先进性能，显著优于先前方法在跨视角步态识别中的表现。
• 在OUMVLP数据集上，该方法展现出优于现有最先进方法的识别准确率，证实了其泛化能力。
• 通过GLFE实现的全局与局部特征融合，生成更具判别性的表征，减少了类内差异并增强了类间可分性。
• 局部时间聚合（LTA）操作有效提升了空间分辨率并保留了结构细节，从而改善了特征质量。
• 消融实验表明，全局与局部特征组件均不可或缺，二者联合使用可带来最高性能增益。
• 该方法在不同摄像头视角与光照条件下均表现出鲁棒性，表明其在真实部署场景中具备强大泛化能力。