[논문 리뷰] Associated Spatio-Temporal Capsule Network for Gait Recognition

Aite Zhao, Junyu Dong외 3명|arXiv (Cornell University)|2021. 01. 07.

Gait Recognition and Analysis참고 문헌 37인용 수 9

한 줄 요약

이 논문은 새로운 순환 메모리 유닛과 관계 레이어를 통합한 연관 시공간 캡슐 네트워크(AS tCapsNet)를 제안하여 다중 모odal 보행 인식을 수행한다. 이 네트워크는 동적 라우팅과 베이지안 의사결정을 거쳐 시공간 특징을 추출한다. 제안된 모델은 기준 보행 데이터셋에서 최고의 정확도 99.69%를 기록하여 정상 및 병리적 보행을 분류하는 데 있어 뛰어난 성능을 입증한다.

ABSTRACT

It is a challenging task to identify a person based on her/his gait patterns. State-of-the-art approaches rely on the analysis of temporal or spatial characteristics of gait, and gait recognition is usually performed on single modality data (such as images, skeleton joint coordinates, or force signals). Evidence has shown that using multi-modality data is more conducive to gait research. Therefore, we here establish an automated learning system, with an associated spatio-temporal capsule network (ASTCapsNet) trained on multi-sensor datasets, to analyze multimodal information for gait recognition. Specifically, we first design a low-level feature extractor and a high-level feature extractor for spatio-temporal feature extraction of gait with a novel recurrent memory unit and a relationship layer. Subsequently, a Bayesian model is employed for the decision-making of class labels. Extensive experiments on several public datasets (normal and abnormal gait) validate the effectiveness of the proposed ASTCapsNet, compared against several state-of-the-art methods.

연구 동기 및 목표

• 기존 보행 인식 방법이 공간적 또는 시간적 특징을 별도로 다루는 데서 비롯하는 한계를 해결하기 위해.
• 보행 시퀀스의 공간적, 시간적, 구조적 관계를 동시에 모델링할 수 있는 엔드 투 엔드 딥 러닝 모델을 개발하기 위해.
• RGB, 스켈레톤, 깊이 등의 다중 모달 센서 데이터를 활용하여 캡슐 기반 아키텍처를 통해 보행 인식 성능을 향상시키기 위해.
• 정상 및 병리적 보행을 포함한 다양한 공개 보행 데이터셋에서 제안된 모델의 효과성을 평가하기 위해.
• 보행 분석 분야에서의 향후 확장 가능성을 탐색하기 위해, 예를 들어 다각도 인식 및 비지도/준지도 학습에 대응할 수 있도록 하기 위해.

제안 방법

• 저수준 특징 추출기에서는 새로운 확장 가능한 순환 메모리 유닛과 합성곱 레이어를 사용하여 보행 시퀀스의 시공간 역학을 캡처한다.
• 고수준 특징 추출기에서는 주요 캡슐 레이어, 캡슐 간 주의를 위한 관계 레이어, 그리고 동적 라우팅을 통한 디지털 캡슐 레이어를 활용하여 체내 부위 간 계층적 관계를 모델링한다.
• 관계 레이어는 캡슐 간 상호작용을 계산하여 신체 부위 간의 구조적 의존성을 인코딩함으로써 특징 표현을 향상시킨다.
• 의사결정 레이어에 베이지안 모델을 통합하여 특징 품질 평가 및 분류 신뢰도 향상을 도모한다.
• 네 개의 소프트맥스 분류기가 네트워크의 다양한 레이어에 배치되며, 전체 네트워크를 엔드 투 엔드로 훈련하기 위해 복합 손실 최적화가 수행된다.
• 차원 감소 후 특징 군집화 및 구분 가능성 평가를 위해 t-SNE 시각화 기법이 적용된다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크는 신체 부위 간의 구조적 관계를 유지하면서도 보행 시퀀스의 공간적 및 시간적 특징을 효과적으로 모델링할 수 있는가?
• RQ2 순환 메모리 유닛과 관계 레이어의 통합이 다중 모달 보행 인식에서 특징 표현을 어떻게 향상시키는가?
• RQ3 제안된 ASTCapsNet이 다양한 보행 데이터셋에서 기존 최고 성능 모델을 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 ASTCapsNet이 학습한 저수준 및 고수준 특징 간의 분류 능력과 클래스 간 분리성은 어떻게 비교되는가?
• RQ5 교차 시점 인식 및 비지도/준지도 학습 환경에서 ASTCapsNet의 잠재적 향상 방안은 무엇인가?

주요 결과

• ASTCapsNet은 CASIA 보행 데이터셋에서 최고의 분류 정확도 99.69%를 기록하여 기존 최고 성능 모델을 초월했다.
• UNITO 데이터셋에서는 99.65%의 정확도를 달성하여 다양한 보행 데이터 소스 간의 뛰어난 일반화 능력을 입증했다.
• t-SNE 차원 감소 후 ASTCapsNet이 추출한 고수준 특징은 명확한 클래스 경계와 높은 내부 클래스 응집도를 보였으며, 효과적인 분류 능력 학습을 의미한다.
• 모든 이전 레이어의 특징를 종합하는 소프트맥스 레이어 4가 가장 높은 성능을 기록하여 깊이 있는 계층적 표현의 중요성을 확인했다.
• 관계 레이어가 성능 향상에 크게 기여했음을 소프트맥스 3의 강력한 성능 결과를 통해 입증하였으며, 이는 부위 간 관계 모델링의 핵심 기여를 확인한다.
• 베이지안 의사결정 레이어는 모델의 신뢰도를 향상시키고 특징 품질 평가를 개선하여 전체 분류의 강건성을 향상시켰다.