[논문 리뷰] Towards a Deeper Understanding of Skeleton-based Gait Recognition

Torben Teepe, Johannes Gilg외 3명|arXiv (Cornell University)|2022. 04. 16.

Gait Recognition and Analysis인용 수 8

한 줄 요약

이 논문은 뼈대 기반 걸음걸이 인식을 위한 새로운 그래프 컬러리셔널 네트워크(GCN)-기반 아키텍처를 제안하며, 다중 브랜치 입력(joints, motion, bones)과 잔차 연결을 활용해 최신 기술 수준의 성능을 달성한다. 이는 OUMVLP-Pose 데이터셋에서 이전 방법 대비 3배 향상된 성능을 기록했으며, 발과 손과 같은 동적인 외부 사지 관절에 초점을 맞춰 강력한 시간적 모델링 능력을 입증한다.

ABSTRACT

Gait recognition is a promising biometric with unique properties for identifying individuals from a long distance by their walking patterns. In recent years, most gait recognition methods used the person's silhouette to extract the gait features. However, silhouette images can lose fine-grained spatial information, suffer from (self) occlusion, and be challenging to obtain in real-world scenarios. Furthermore, these silhouettes also contain other visual clues that are not actual gait features and can be used for identification, but also to fool the system. Model-based methods do not suffer from these problems and are able to represent the temporal motion of body joints, which are actual gait features. The advances in human pose estimation started a new era for model-based gait recognition with skeleton-based gait recognition. In this work, we propose an approach based on Graph Convolutional Networks (GCNs) that combines higher-order inputs, and residual networks to an efficient architecture for gait recognition. Extensive experiments on the two popular gait datasets, CASIA-B and OUMVLP-Pose, show a massive improvement (3x) of the state-of-the-art (SotA) on the largest gait dataset OUMVLP-Pose and strong temporal modeling capabilities. Finally, we visualize our method to understand skeleton-based gait recognition better and to show that we model real gait features.

연구 동기 및 목표

• 복잡한 옷차림, 가림, 외형 오차 등 실루엣 기반 걸음걸이 인식의 한계를 해결하기 위해, 외형 기반의 실루엣 표현에서 모델 기반의 뼈대 표현으로 전환함으로써 문제를 해결하고자 한다.
• 저자체의 뼈대 기반 걸음걸이 인식 성능 향상을 위해, 내구성과 운동에 집중하는 장점에도 불구하고, 외형 기반 방법에 비해 성능이 뒤처지고 있는 문제를 해결하고자 한다.
• 활성화 시각화 및 분석을 통한 학습된 걸음걸이 표현에 대한 깊은 이해를 제공함으로써, 모델이 실제 걸음걸이 특징을 학습하고 있음을 확인하고, 외형 기반 재식별 신호가 아닌 진정한 걸음걸이 특징을 포착하고 있음을 입증하고자 한다.
• 자기자신의 뼈대 추정 정확도에 따라 성능이 어떻게 변화하는지에 대한 확장성을 입증함으로써, 다양한 키포인트 검출기(예: AlphaPose vs. OpenPose)에 대해 일관된 성능 향상을 보여주고자 한다.

제안 방법

• 이 방법은 뼈대 입력의 세 가지 유형을 처리하는 다중 브랜치 GCN 아키텍처를 사용한다: 원시 관절 좌표, 관절 운동 벡터, 뼈 벡터.
• 각 브랜치는 인간 뼈대의 공간적 및 시간적 의존성을 모델링하기 위해 시간적 시퀀스를 그래프 컬러리셔널 네트워크로 처리한다.
• 훈련 안정성 향상과 기울기 흐름 향상을 위해 각 브랜치 내부에 잔차 연결을 적용함으로써 모델의 깊이와 성능을 향상시킨다.
• 운동 특징을 엔드 투 엔드로 학습하는 것보다 사전 계산된 시간 정보를 사용함으로써 훈련 속도 향상과 안정성 향상을 달성한다.
• 일반화 성능 향상을 위해 교차 엔트로피 손실과 테스트 시 시간 증강(TTA)을 사용하여 훈련한다.
• 추론 중 네트워크가 주로 어떤 신체 부위에 집중하는지 분석하기 위해 활성화 시각화 기법을 사용해 관절 활성화 지도를 계산한다.

실험 결과

연구 질문

• RQ1 다중 브랜치 입력 처리를 갖춘 GCN 기반 아키텍처가 이전 방법에 비해 뼈대 기반 걸음걸이 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 활성화 패턴을 통해 모델이 외형 기반 신호가 아닌 진정한 걸음걸이 특징을 얼마나 잘 학습하고 있는가?
• RQ3 AlphaPose와 OpenPose와 같은 다양한 키포인트 검출기의 품질에 따라 모델의 성능은 어떻게 변화하는가?
• RQ4 기존의 그래프 기반 걸음걸이 인식 모델에 비해 제안된 아키텍처가 뛰어난 시간적 모델링 능력을 보여주는가?
• RQ5 다양한 시야각에서 일반화 성능을 유지하고, 옷차림이나 지참물의 변화에 대해 저항력이 있는가?

주요 결과

• 제안된 방법은 OUMVLP-Pose 데이터셋에서 시야 간 프로토콜 조건 하에 랭크-1 정확도 63.1%를 달성하여 이전 최고 기록 대비 3배 향상된 성능을 기록했다.
• CASIA-B 데이터셋에서는 시야 간 설정에서 랭크-1 정확도 72.8%를 기록하여 다양한 데이터셋 간 강력한 일반화 능력을 입증했다.
• 관절 활성화 시각화 결과, 모델은 주로 동적인 외부 사지 관절—특히 발과 손—에 집중함을 확인하여 실제 걸음걸이 운동 특징을 학습하고 있음을 확인했다.
• 흔들리는 다리와 같은 더 큰 운동을 보이는 관절에 더 높은 활성도를 부여함으로써, 모델이 걸음걸이 주기의 효과적인 시간적 모델링을 수행하고 있음을 나타냈다.
• AlphaPose와 OpenPose 등 다양한 뼈대 추정기에서 일관된 성능 향상을 보이며, 향상된 키포인트 검출 정확도에 따라 확장 가능성을 입증했다.
• 제거 실험 결과, 뼈대, 운동, 뼈 벡터로 구성된 다중 브랜치 설계가 성능 향상에 필수적이며, 각 구성 요소가 강력한 특징 학습에 기여하고 있음을 확인했다.