[논문 리뷰] GaitGL: Learning Discriminative Global-Local Feature Representations for Gait Recognition

Beibei Lin, Shunli Zhang외 3명|arXiv (Cornell University)|2022. 08. 02.

Gait Recognition and Analysis인용 수 21

한 줄 요약

GaitGL은 새로운 Global and Local Convolutional Layer (GLCL) 및 마스크 기반 로컬 특징 추출을 갖춘 글로벌-로컬 보행 인식 네트워크를 제시하며, 여러 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

Existing gait recognition methods either directly establish Global Feature Representation (GFR) from original gait sequences or generate Local Feature Representation (LFR) from several local parts. However, GFR tends to neglect local details of human postures as the receptive fields become larger in the deeper network layers. Although LFR allows the network to focus on the detailed posture information of each local region, it neglects the relations among different local parts and thus only exploits limited local information of several specific regions. To solve these issues, we propose a global-local based gait recognition network, named GaitGL, to generate more discriminative feature representations. To be specific, a novel Global and Local Convolutional Layer (GLCL) is developed to take full advantage of both global visual information and local region details in each layer. GLCL is a dual-branch structure that consists of a GFR extractor and a mask-based LFR extractor. GFR extractor aims to extract contextual information, e.g., the relationship among various body parts, and the mask-based LFR extractor is presented to exploit the detailed posture changes of local regions. In addition, we introduce a novel mask-based strategy to improve the local feature extraction capability. Specifically, we design pairs of complementary masks to randomly occlude feature maps, and then train our mask-based LFR extractor on various occluded feature maps. In this manner, the LFR extractor will learn to fully exploit local information. Extensive experiments demonstrate that GaitGL achieves better performance than state-of-the-art gait recognition methods. The average rank-1 accuracy on CASIA-B, OU-MVLP, GREW and Gait3D is 93.6%, 98.7%, 68.0% and 63.8%, respectively, significantly outperforming the competing methods. The proposed method has won the first prize in two competitions: HID 2020 and HID 2021.

연구 동기 및 목표

• 다양한 조건에서 글로벌 또는 로컬 특징만으로는 충분하지 않은 견고한 보행 인식을 동기화한다.
• 글로벌 맥락과 상세한 로컬 자세 정보를 함께 활용하는 프레임워크를 개발한다.
• 로컬 디테일 활용을 향상시키기 위한 마스크 기반 로컬 특징 추출기를 도입한다.
• Local Temporal Aggregation (LTA)을 통해 시공간 정보를 보존하면서 Temporal 정보를 다루는 방법을 포함한다.
• 네 가지의 인기 보행 데이터셋에서 최첨단 성능을 입증한다.

제안 방법

• GLCL(Global and Local Convolutional Layer)을 두 개의 병렬 추출기로 구성: Global Feature Representation (GFR) 추출기와 mask-based Local Feature Representation (LFR) 추출기.
• 상호 보완적인 마스크를 사용하여 특징 맵을 차단하는 부분 수준(part-level), 스트립 수준(strip-level), 픽셀 수준(pixel-level) 분할 전략을 도입하여 다양한 로컬 표현을 학습한다.
• 어려운 초기 단계의 기존 공간 풀링层을 Local Temporal Aggregation (LTA)으로 대체하여 시공간 중복을 줄이면서 공간 디테일을 보존한다.
• 시공간 특징 매핑으로 구성된 보행 인식 헤드를 사용하고, 수직 정보의 적응적 집계를 위한 GeM 풀링 옵션을 포함한다.
• Triplet loss와 cross-entropy loss의 결합 손실과 BA (Batch ALL) 샘플링 전략을 사용하여 학습한다.

실험 결과

연구 질문

• RQ1 글로벌 컨텍스트 관계와 로컬 상세 포즈 정보를 보행 인식에 어떻게 함께 모델링할 수 있는가?
• RQ2 마스크 기반 로컬 특징 추출기가 고정 분할 방식에 비해 클래스 내 변동성과 차폐에 대한 강건성을 향상시키는가?
• RQ3 Local Temporal Aggregation (LTA) 도입이 시공간 정보 간의 트레이드오프를 관리하여 성능을 개선하는가?
• RQ4 다양한 마스크 전략(part/strip/pixel 수준)이 로컬 특징 학습에 미치는 영향은 무엇인가?
• RQ5 GaitGL이 여러 표준 보행 벤치마크에서 최첨단 결과를 달성할 수 있는가?

주요 결과

• GaitGL은 CASIA-B, OU-MVLP, GREW, 및 Gait3D 데이터셋에서 최첨단 보행 인식 방법보다 높은 성능을 달성합니다(평균 rank-1: 93.6%, 98.7%, 68.0%, 63.8% respectively).
• 상호 보완적 마스크를 가진 제안된 mask-based LFR 추출기가 로컬 자세 디테일의 학습을 향상시킵니다.
• Local Temporal Aggregation (LTA)은 공간 해상도를 보존하면서 시공간 중복을 줄여 인식 정확도를 향상시킵니다.
• GaitGL은 HID 2020와 HID 2021 대회에서 선두 성능을 달성합니다.
• GaitGL의 소스 코드는 저자들의 GitHub 저장소에서 공개됩니다.