[论文解读] GaitGL: Learning Discriminative Global-Local Feature Representations for Gait Recognition

Beibei Lin, Shunli Zhang+3 more|arXiv (Cornell University)|Aug 2, 2022

Gait Recognition and Analysis被引用 21

一句话总结

GaitGL 提出了一种全局-局部步态识别网络，具有新颖的 Global and Local Convolutional Layer (GLCL) 和基于掩模的局部特征提取，在多个数据集上达到最先进的结果。

ABSTRACT

Existing gait recognition methods either directly establish Global Feature Representation (GFR) from original gait sequences or generate Local Feature Representation (LFR) from several local parts. However, GFR tends to neglect local details of human postures as the receptive fields become larger in the deeper network layers. Although LFR allows the network to focus on the detailed posture information of each local region, it neglects the relations among different local parts and thus only exploits limited local information of several specific regions. To solve these issues, we propose a global-local based gait recognition network, named GaitGL, to generate more discriminative feature representations. To be specific, a novel Global and Local Convolutional Layer (GLCL) is developed to take full advantage of both global visual information and local region details in each layer. GLCL is a dual-branch structure that consists of a GFR extractor and a mask-based LFR extractor. GFR extractor aims to extract contextual information, e.g., the relationship among various body parts, and the mask-based LFR extractor is presented to exploit the detailed posture changes of local regions. In addition, we introduce a novel mask-based strategy to improve the local feature extraction capability. Specifically, we design pairs of complementary masks to randomly occlude feature maps, and then train our mask-based LFR extractor on various occluded feature maps. In this manner, the LFR extractor will learn to fully exploit local information. Extensive experiments demonstrate that GaitGL achieves better performance than state-of-the-art gait recognition methods. The average rank-1 accuracy on CASIA-B, OU-MVLP, GREW and Gait3D is 93.6%, 98.7%, 68.0% and 63.8%, respectively, significantly outperforming the competing methods. The proposed method has won the first prize in two competitions: HID 2020 and HID 2021.

研究动机与目标

• 在多样条件下，全球特征或局部特征单独不足以实现鲁棒步态识别的动机。
• 开发一个框架，联合利用全局上下文和详细的局部姿态信息。
• 引入基于掩模的局部特征提取器，以增强对局部细节的利用。
• 通过局部时序聚合（LTA）加入对时间信息的处理，以在保持空间细节的同时降低时序冗余。
• 在四个流行的步态数据集上展示了最先进的性能。

提出的方法

• 提出 Global and Local Convolutional Layer (GLCL)，配备两个并行提取器：全局特征表示（GFR）提取器和基于掩模的局部特征表示（LFR）提取器。
• 引入基于掩模的分区策略（部件级、条带级、像素级），使用互补掩模遮挡特征图，以训练多样化的局部表示。
• 在早期阶段用局部时序聚合（LTA）替代常规的空间池化层，以在减少时序冗余的同时保留空间细节。
• 使用由时序和空间特征映射组成的步态识别头，配备 GeM 池化选项以进行自适应垂直信息聚合。
• 使用三元组损失和交叉熵损失的组合损失进行训练，采用 BA（Batch ALL）采样策略。

实验结果

研究问题

• RQ1 如何将全局上下文关系与局部详细姿态联合建模用于步态识别？
• RQ2 与固定分区方案相比，基于掩模的局部特征提取器是否提高了对类内变异和遮挡的鲁棒性？
• RQ3 通过引入局部时序聚合（LTA）在管理时序与空间信息权衡方面是否能提升性能？
• RQ4 不同掩模策略（部件级/条带级/像素级）对局部特征学习有何影响？
• RQ5 GaitGL 是否能够在多个标准步态基准数据集上达到最先进的结果？

主要发现

• GaitGL 在 CASIA-B、OU-MVLP、GREW 和 Gait3D 数据集上超越了最先进的步态识别方法（平均 rank-1：分别为 93.6%、98.7%、68.0%、63.8%）。
• 提出的基于掩模的 LFR 提取器配合互补掩模，提升对局部姿态细节的学习。
• 局部时序聚合（LTA）在降低时序冗余的同时保持空间分辨率，从而提升识别准确率。
• GaitGL 在 HID 2020 和 HID 2021 比赛中取得领先表现。
• GaitGL 的源代码可在作者的 GitHub 仓库公开获取。