[논문 리뷰] RealGait: Gait Recognition for Person Re-Identification

Shaoxiong Zhang, Yunhong Wang외 3명|arXiv (Cornell University)|2022. 01. 13.

Gait Recognition and Analysis인용 수 15

한 줄 요약

이 논문은 DukeMTMC-VideoReID 데이터셋에서 추출한 실루엣을 활용하여 실제 감시 환경에 적합한 새로운 걸음걸이 인식 방법인 RealGait를 제안한다. 새로운 BUAA-Duke-Gait 벤치마크에서 걸음걸이 특징만으로도 랭크-1 정확도가 78.24%에 이를 정도로 높은 성능을 보이며, 이는 걸음걸이가 비제약 환경에서 영상 인물 재식별 성능 향상의 핵심 요소임을 시사한다.

ABSTRACT

Human gait is considered a unique biometric identifier which can be acquired in a covert manner at a distance. However, models trained on existing public domain gait datasets which are captured in controlled scenarios lead to drastic performance decline when applied to real-world unconstrained gait data. On the other hand, video person re-identification techniques have achieved promising performance on large-scale publicly available datasets. Given the diversity of clothing characteristics, clothing cue is not reliable for person recognition in general. So, it is actually not clear why the state-of-the-art person re-identification methods work as well as they do. In this paper, we construct a new gait dataset by extracting silhouettes from an existing video person re-identification challenge which consists of 1,404 persons walking in an unconstrained manner. Based on this dataset, a consistent and comparative study between gait recognition and person re-identification can be carried out. Given that our experimental results show that current gait recognition approaches designed under data collected in controlled scenarios are inappropriate for real surveillance scenarios, we propose a novel gait recognition method, called RealGait. Our results suggest that recognizing people by their gait in real surveillance scenarios is feasible and the underlying gait pattern is probably the true reason why video person re-idenfification works in practice.

연구 동기 및 목표

• 배경 혼잡, 다수의 사람, 비정상적인 보행 패턴이 존재하는 제약 없는 실세계 감시 응용 분야와 제어된 데이터셋 간의 격차를 해소하기 위해.
• 영상 인물 재식별에서 높은 성능을 이끌어내는 주요 요인이 옷차림 외형이 아니라 걸음걸이 특징인지 조사하기 위해.
• 기존의 대규모 영상 재식별 데이터셋에서 실루엣을 추출하여 BUAA-Duke-Gait라는 새로운 벤치마크 데이터셋을 구축하여 걸음걸이 인식과 인물 재식별 간의 공정한 비교를 가능하게 하기 위해.
• 기존 방법이 실패하는 제약 없는 실세계 조건에서도 잘 작동하는 강력한 걸음걸이 인식 모델을 개발하기 위해.

제안 방법

• DukeMTMC-VideoReID 데이터셋에서 배경 제거 및 운동 세그멘테이션 기법을 활용해 실루엣을 추출하여 BUAA-Duke-Gait 데이터셋을 구축하였다.
• 시간적 걸음걸이 시퀀스를 처리하기 위해 3D CNN 아키텍처를 활용한 이진 실루엣 기반 걸음걸이 인식 모델을 제안하였다.
• 다중 스케일 특징 추출 및 시간적 풀링을 적용하여 걸음걸이 시퀀스로부터 구분 능력이 뛰어난 표현을 학습하도록 하였다.
• 그레이스케일 이미지에 양자화 기법을 적용하여 외형 정보의 영향을 분석하였으며, 1에서 16개의 박스까지 다양한 설정을 시험하여 최소한의 외형 정보 요구 조건을 평가하였다.
• 실루엣 기반 걸음걸이 인식과 전체 색상 인물 재식별 간의 비교 실험을 수행하여 걸음걸이 기여도를 분리 분석하였다.
• 조명 변화 및 가림 상태와 같은 다양한 조건에서 강도와 색상의 영향을 평가하기 위해 아블레이션 스터디를 수행하였다.

실험 결과

연구 질문

• RQ1 제어된 데이터셋에서의 걸음걸이 인식 성능가 실세계 감시 영상로 전환할 경우 성능 저하 정도는 어떠한가?
• RQ2 비제약 환경에서 영상 인물 재식별의 성공에 걸음걸이 특징이 얼마나 기여하는가?
• RQ3 옷차림 외형 정보가 신뢰할 수 없는 실세계 감시 환경에서 걸음걸이 인식만으로도 신뢰할 수 있는 인물 식별이 가능한가?
• RQ4 효율적인 걸음걸이 기반 인식을 위해 필요한 최소한의 외형 정보(예: 그레이스케일 박스 수)는 얼마인가?
• RQ5 시야 변화와 가림 상태에 대한 내성 면에서 걸음걸이 특징은 외형 정보에 비해 얼마나 더 견고한가?

주요 결과

• 제안된 RealGait 방법은 BUAA-Duke-Gait 데이터셋에서 랭크-1 정확도 78.24%를 달성하여 제어된 데이터셋에서 학습된 최신 기술보다 유의미하게 뛰어난 성능을 보였다.
• 동일한 데이터셋에서 전체 색상 인물 재식별을 수행한 결과 랭크-1 정확도가 94%에 이를 정도로, 외형 정보가 걸음걸이 기반 성능을 추가로 향상시킴을 시사하였다.
• 그레이스케일 박스 수가 3개일 경우에도 걸음걸이 인식 정확도가 84.94%에 도달하여, 최소한의 외형 정보만으로도 신뢰할 수 있는 인식이 가능함을 입증하였다.
• 전체 색상 인식과 이진 실루엣 인식 간 성능 격차는 약 3% 수준이었으며, 이는 걸음걸이 특징이 매우 구분 능력이 뛰어나고 강건함을 시사한다.
• 큰 시야 변화나 외형 정보가 모호하거나 일관되지 않을 경우에도 걸음걸이 특징은 효과적으로 기능함을 입증하였다.
• 본 연구는 실세계 환경에서 영상 인물 재식별의 성공 요인이 옷차림 외형이 아니라 걸음걸이 특징일 가능성이 높음을 밝혀내었으며, 이는 외형 정보가 주요 캐릭터리스틱이라는 기존의 가정을 도전한다.