[논문 리뷰] Gait Recognition via Effective Global-Local Feature Representation and Local Temporal Aggregation

Beibei Lin, Shunli Zhang외 1명|arXiv (Cornell University)|2020. 11. 03.

Gait Recognition and Analysis참고 문헌 26인용 수 16

한 줄 요약

이 논문은 3D CNN 기반의 보행 인식 프레임워크를 제안하며, 새로운 글로벌 및 로컬 컨volution 레이어(GLOConv)를 갖춘 글로벌 및 로컬 특징 추출기(GLFE)를 통해 글로벌 및 로컬 특징을 융합함으로써 특징의 구분 능력을 향상시킨다. 또한 전통적인 공간 풀링을 대체하기 위해 국소 시간 집계(LTA)를 도입하여 공간 해상도를 향상시켜 CASIA-B 및 OUMVLP 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 정상 조건 하에서 97.4%의 랭크-1 정확도를 기록하였다.

ABSTRACT

Gait recognition is one of the most important biometric technologies and has been applied in many fields. Recent gait recognition frameworks represent each gait frame by descriptors extracted from either global appearances or local regions of humans. However, the representations based on global information often neglect the details of the gait frame, while local region based descriptors cannot capture the relations among neighboring regions, thus reducing their discriminativeness. In this paper, we propose a novel feature extraction and fusion framework to achieve discriminative feature representations for gait recognition. Towards this goal, we take advantage of both global visual information and local region details and develop a Global and Local Feature Extractor (GLFE). Specifically, our GLFE module is composed of our newly designed multiple global and local convolutional layers (GLConv) to ensemble global and local features in a principle manner. Furthermore, we present a novel operation, namely Local Temporal Aggregation (LTA), to further preserve the spatial information by reducing the temporal resolution to obtain higher spatial resolution. With the help of our GLFE and LTA, our method significantly improves the discriminativeness of our visual features, thus improving the gait recognition performance. Extensive experiments demonstrate that our proposed method outperforms state-of-the-art gait recognition methods on two popular datasets.

연구 동기 및 목표

• 기존의 보행 인식 방법이 전적으로 글로벌 또는 로컬 특징에 의존함으로써 맥락과 세부 정보를 동시에 포착하지 못하는 한계를 해결하고자 한다.
• 통합된 3D CNN 프레임워크 내에서 글로벌 외관과 로컬 영역 표현을 함께 학습함으로써 특징의 구분 능력을 향상시키고자 한다.
• 기존의 풀링 레이어에서 발생하는 공간 정보 손실을 줄이기 위해 새로운 국소 시간 집계(LTA) 연산을 도입하고자 한다.
• 일반화된 평균(GeM) 풀링을 활용한 적응형 풀링을 통해 공간 특징 매핑을 향상시켜 다양한 조건 하에서도 강건성을 향상시키고자 한다.

제안 방법

• 글로벌 및 로컬 특징 추출기(GLFE) 모듈은 보행 시퀀스에서 글로벌 시각적 외관과 로컬 영역 세부 정보를 동시에 추출할 수 있도록 다수의 GLOConv 레이어를 통합한다.
• GLOConv 레이어는 원칙적인 방식으로 글로벌 맥락과 로컬 구조적 정보를 인코딩하도록 설계되어 공동 특징 학습을 가능하게 한다.
• 국소 시간 집계(LTA)는 첫 번째 공간 풀링 레이어를 대체하며, 국소 클립 내의 시간 정보를 집계하여 효과적인 공간 해상도를 증가시킨다.
• 이 방법은 스파티오토르피컬 보행 시퀀스를 처리하기 위해 3D 컨볼루션을 사용하며, 첫 번째 공간 다운샘플링 이전에 LTA를 적용하여 정보 손실을 줄인다.
• 일반화된 평균(GeM) 풀링은 공간 특징 매핑을 위해 사용되며, 최대 풀링 또는 평균 풀링보다 뛰어난 성능을 보이는 적응형 집계를 가능하게 한다.
• 프레임워크는 표준 크로스 뷰 프로토콜을 사용하여 CASIA-B 및 OUMVLP 데이터셋에서 훈련 및 평가되며, 다운샘플링 및 풀링 전략에 대한 분석 실험도 수행된다.

실험 결과

연구 질문

• RQ1 3D CNN 기반 프레임워크에서 글로벌 및 로컬 특징을 함께 학습하는 것이 보행 표현의 구분 능력을 향상시킬 수 있는가?
• RQ2 기존의 공간 풀링을 국소 시간 집계(LTA)로 대체함으로써 더 많은 공간 정보를 유지하고 정확도를 향상시킬 수 있는가?
• RQ3 다양한 조건 하에서 GeM 풀링을 통한 적응형 공간 풀링이 최대 풀링 또는 평균 풀링보다 얼마나 강건한가?
• RQ4 시간 정보 손실에 과도하게 피팅되지 않도록 하면서 성능을 극대화하기 위한 최적의 다운샘플링 전략 조합(LTA 대 SP)은 무엇인가?
• RQ5 다중 GLOConv 레이어를 갖춘 제안된 GLFE 모듈은 단일 브랜치의 글로벌 또는 로컬 특징 추출기보다 정확도 측면에서 얼마나 우수한가?

주요 결과

• 제안된 방법은 정상 조건(NM) 하에서 CASIA-B 데이터셋에서 97.4%의 랭크-1 정확도를 기록하여 최신 기술 수준의 방법들을 초월하였다.
• GLOConv 레이어에서 N=8를 사용한 GLFE 모듈이 가장 우수한 성능을 보였으며, NM에서 97.4%, BG에서 94.5%, CL에서 83.6%의 정확도를 기록하였다.
• LTA+SP 다운샘플링 전략이 NM에서 97.4%의 정확도를 기록하여 SP+SP(96.3%)와 LTA+LTA(94.4%)를 모두 초월하였으며, 시간-공간 상호보완성의 최적 균형을 확보함을 시사하였다.
• GeM 풀링은 모든 조건에서 평균 정확도 91.8%를 기록하여 최대 풀링 및 평균 풀링보다 BG 설정에서 각각 0.5%와 CL 설정에서 1.1% 높은 성능을 보였다.
• 분석 실험 결과, GLFE를 통한 글로벌 및 로컬 특징 융합이 단독으로 글로벌 또는 로컬 특징을 사용하는 것보다 성능을 크게 향상시키며, 최적의 구성에서 NM에서 97.4%의 정확도를 달성하였다.