[논문 리뷰] Human Gait Recognition using Deep Learning: A Comprehensive Review

Muhammad Imran Sharif, Mehwish Mehmood외 2명|arXiv (Cornell University)|2023. 09. 18.

Gait Recognition and Analysis인용 수 6

한 줄 요약

이 종합적 리뷰는 CASIA B 및 TUM GAID와 같은 데이터셋을 바탕으로 CNN, LSTM, GRU 등의 아키텍처를 분석하며 딥 러닝(DL)-기반 인간의 보행 인식(GR)을 조사한다. 융합 기법을 사용하여 CASIA B에서 98%를 초과하는 최신 성능을 기록했으며, 내성성, 프라이버시, 일반화 능력 향상 등의 핵심 과제를 규명한다.

ABSTRACT

Gait recognition (GR) is a growing biometric modality used for person identification from a distance through visual cameras. GR provides a secure and reliable alternative to fingerprint and face recognition, as it is harder to distinguish between false and authentic signals. Furthermore, its resistance to spoofing makes GR suitable for all types of environments. With the rise of deep learning, steadily improving strides have been made in GR technology with promising results in various contexts. As video surveillance becomes more prevalent, new obstacles arise, such as ensuring uniform performance evaluation across different protocols, reliable recognition despite shifting lighting conditions, fluctuations in gait patterns, and protecting privacy.This survey aims to give an overview of GR and analyze the environmental elements and complications that could affect it in comparison to other biometric recognition systems. The primary goal is to examine the existing deep learning (DL) techniques employed for human GR that may generate new research opportunities.

연구 동기 및 목표

• 연구자 및 실무자들을 대상으로 딥 러닝 기술이 인간의 보행 인식(GR)에 적용된 방식에 대한 체계적인 개요를 제공하기 위해.
• 조명 변화, 가림, 보행의 변동성 등의 환경적 및 기술적 과제가 GR 성능에 미치는 영향을 분석하기 위해.
• 표준화된 평가 프로토콜 부족 및 실제 환경에서의 일반화 능력 부족 등 현재 연구의 격차를 규명하기 위해.
• 시각적 및 청각적 데이터를 활용한 다중모달 GR의 잠재적 기회와 보행 이상 탐지에 응용된 의료 분야의 발전 가능성을 부각하기 위해.
• 기준 데이터셋에서 딥 러닝 모델의 성능을 평가하고 최고 성능을 보인 아키텍처 및 융합 전략을 식별하기 위해.

제안 방법

• 2015~2022년 사이의 DL 기반 GR에 관한 40篇 이상의 최근 논문을 체계적 문헌 리뷰 방법론을 통해 조사한다.
• 특징 추출, 분류, 융합의 세 가지 범주로 GR 기법을 분류하며, 주로 CNN, RNN(LSTM, GRU), 하이브리드 모델을 중심으로 다룬다.
• CASIA B, TUM GAID, HMDB-51, UCF-101, NTU RGB+D 등의 표준 데이터셋에서 성능을 평가한다.
• VGG-16, 향상된 모기-염소 최적화 기법, SVM 기반 임계값 기반 특징 융합 등의 모델 아키텍처를 분석한다.
• 다양한 시야 각도(0°, 18°, 36° 등)와 조건(배낭 지참, 다양한 지면)에서의 인식 정확도를 비교한다.
• 데이터 증강, 배경 제거, 실루엣 기반 보행 표현 방식이 모델의 일반화 능력 향상에 기여하는지 평가한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 조건에서 인간의 보행 인식에 가장 효과적인 딥 러닝 아키텍처는 무엇인가?
• RQ2 시야 각도, 보행 속도, 옷차림, 지참물 유무 등의 변화가 DL 기반 GR 시스템의 성능에 어떻게 영향을 미치는가?
• RQ3 실세계 감시 환경에서 강건하고 일반화 가능한 보행 인식을 달성하기 위한 핵심 과제는 무엇인가?
• RQ4 시각적 및 청각적 데이터 등 다중모달 데이터의 융합은 보행 인식 정확도 향상과 위조 방지 능력 향상에 어떻게 기여하는가?
• RQ5 GR 연구에서 현재의 데이터 가용성, 참조 레이블(annotation), 평가 표준화의 주요 제약 사항은 무엇인가?

주요 결과

• 특징 융합 및 SVM 기반 분류를 사용한 최신 모델은 CASIA B 데이터셋에서 98% 이상의 정확도를 달성한다.
• 다중 시야 데이터(예: 0°, 18°, 36°, 90°)를 기반으로 훈련한 모델은 각도에 따라 95.2%에서 96.6%의 정확도를 보이며 더 높은 강건성을 확보한다.
• CNN과 RNN(GRU, LSTM)을 융합한 하이브리드 아키텍처는 보행 주기의 시퀀스 모델링에서 단독 모델보다 뛰어난 성능을 보인다.
• 모기-염소 최적화 기법과 같은 향상된 최적화 기법을 적용하면 TUM GAID에서 정확도가 98.60%까지 향상된다.
• 공간적, 시간적, 운동 기반 특징 등의 다중 특징 융합은 단일 모odal 접근보다 더 높은 정확도를 달성한다.
• 통제된 환경에서는 높은 정확도를 기록하고도, 실세계 적용은 조명 변화, 가림, 표준 기준이 없는 벤치마크 부족 등의 문제로 여전히 제한적이다.