[논문 리뷰] Gait Recognition via Disentangled Representation Learning

Ziyuan Zhang, Luan Tran외 5명|arXiv (Cornell University)|2019. 04. 09.

Gait Recognition and AnalysisEngineering참고 문헌 42인용 수 19

한 줄 요약

이 논문은 RGB 영상에서 복잡한 외관 변화(예: 옷, 지참물)에 의해 영향을 받는 자세 기반 걸음걸이 특징을 분리하는 데 목적이 있는 자동에코기반 딥러닝 프레임워크인 GaitNet을 제안한다. 새로운 재구성 및 유사도 손실 함수를 사용하여 이를 달성한다. 다층 LSTM을 활용해 시간적 자세 특징을 통합함으로써, GaitNet은 CASIA-B, USF 및 새로운 정면 시점 걸음걸이 데이터셋(FVG)에서 최신 기술 수준(SOTA)의 성능을 달성하며, 이전 방법들에 비해 뛰어난 내성성과 계산 효율성을 입증한다.

ABSTRACT

Gait, the walking pattern of individuals, is one of the most important biometrics modalities. Most of the existing gait recognition methods take silhouettes or articulated body models as the gait features. These methods suffer from degraded recognition performance when handling confounding variables, such as clothing, carrying and view angle. To remedy this issue, we propose a novel AutoEncoder framework to explicitly disentangle pose and appearance features from RGB imagery and the LSTM-based integration of pose features over time produces the gait feature. In addition, we collect a Frontal-View Gait (FVG) dataset to focus on gait recognition from frontal-view walking, which is a challenging problem since it contains minimal gait cues compared to other views. FVG also includes other important variations, e.g., walking speed, carrying, and clothing. With extensive experiments on CASIA-B, USF and FVG datasets, our method demonstrates superior performance to the state of the arts quantitatively, the ability of feature disentanglement qualitatively, and promising computational efficiency.

연구 동기 및 목표

• 옷, 지참물, 시점 각도와 같은 혼란스러운 시각적 변화에 의한 걸음걸이 인식 과제를 해결하기 위해.
• GEI나 스켈레톤 기반 방법과 같은 수작업 특징 추출 기법의 한계를 극복하기 위해, 이는 외관 변화에 민감하거나 높은 계산 비용을 유발하기 때문이다.
• 원시 RGB 영상에서 걸음걸이 관련 자세 역학을 정적 외관 요소로부터 자동으로 분리하는 엔드 투 엔드 딥러닝 프레임워크를 개발하기 위해.
• 실제 환경 조건에서의 내성성 평가를 위해 다양한 변화를 포함한 고해상도 정면 시점 걸음걸이 데이터셋(FVG)을 수집하고 공개하기 위해.
• 분리된 표현 학습이 더 내성적이고 일반화 가능한 걸음걸이 특징을 이끌어내어 정확도와 효율성을 향상시킨다는 것을 입증하기 위해.

제안 방법

• GaitNet은 두 개의 병렬 헤드(자세 특징 및 외관 특징)를 가지는 CNN 기반 자동에코기반 구조를 사용하며, 상호 재구성 손실을 통해 분리가 보장되도록 훈련된다.
• 상호 재구성 손실은 한 프레임의 외관과 다른 프레임의 자세를 조합하여 후자를 재구성하도록 하여 분리의 강제 조건을 제공한다.
• 자기걸음걸이 유사도 손실이 도입되어, 동일한 주체의 자세 특징이 다양한 조건(예: 옷, 속도)에서도 유사하게 유지되도록 보장함으로써 내성성 향상을 도모한다.
• 시간적 걸음걸이 특징은 분리된 자세 특징의 시퀀스를 다층 LSTM에 입력하고, 증가하는 정체성 손실을 통해 분류 능력을 향상시킴으로써 학습된다.
• 최종 걸음걸이 표현은 영상 수준의 특징 간 코사인 유사도를 통해 확보되며, 이는 효율적인 영상 간 매칭을 가능하게 한다.
• 이 방법은 CASIA-B, USF 및 새로 수집한 정면 시점 걸음걸이 데이터셋(FVG)에서 훈련 및 평가되며, 아블레이션 스터디를 통해 각 구성 요소의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥러닝 모델이 수작업 특징 추출에 의존하지 않고도 RGB 영상에서 외관 변화에 의해 영향을 받는 걸음걸이 관련 자세 역학을 효과적으로 분리할 수 있는가?
• RQ2 의도한 분리 프레임워크는 옷, 지참물, 시점 각도와 같은 도전적인 변화 조건 하에서 최신 기술 수준의 방법들에 비해 정확도와 내성성 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법은 새로운 정면 시점 걸음걸이 데이터셋(다양한 실제 세계 변화 포함)을 포함한 다양한 데이터셋에서 얼마나 일반화되는가?
• RQ4 새로운 이중 손실 함수(재구성 및 유사도)를 가진 자동에코 기반 모델이 기존 방법들보다 더 내성적이고 분류 능력이 뛰어난 걸음걸이 표현을 제공하는가?
• RQ5 특히 실시간 응용에서, 제안된 방법은 자세 추정 기반 기준 모델들에 비해 계산 효율성이 얼마나 뛰어나며, 어떤가?

주요 결과

• CASIA-B 데이터셋에서, GaitNet은 옷 변화(CL) 조건 하에서 TDR@FAR 91.8%를 달성하여 이어지는 최고 성능 모델인 LB 네트워크(61.6%)를 크게 앞서며 외관 변화에 대한 강력한 내성성을 입증한다.
• USF 데이터셋에서, GaitNet은 프로브 시점 변화 조건 하에서 99.5±0.2%의 정체성 식별 정확도를 기록하며, LB 네트워크의 보고된 96.7%와 다중 과제 GAN의 94.7%를 초월한다.
• 새로 수집한 FVG 데이터셋에서, GaitNet은 모든 변화 조건 하에서 동일한 프rotocol 하에 TDR@FAR 1% 기준 81.2%의 성능을 기록하며, GEI(5.8%), GEINet(13.0%), DCNN(7.9%), LB(40.7%)를 모두 앞선다.
• GaitNet은 뛰어난 계산 효율성을 보이며, FVG 데이터셋에서 프레임당 총 추론 시간이 1.5 ms로, 자세 추정 기반 기준 모델인 PE-LSTM(22.5 ms/프레임)보다 빠르다.
• 아블레이션 스터디는 상호 재구성 손실과 걸음걸이 유사도 손실이 모두 분리 및 성능 향상에 필수적임을 확인하며, 둘 중 하나를 제거할 경우 정확도가 크게 떨어진다.
• 정성적 분석은 GaitNet이 자세 역학을 외관으로부터 성공적으로 분리함을 확인하며, 지나치게 변화한 조건(예: 지참물, 다른 옷)에서도 생성된 특징이 걸음걸이 운동에 집중하고 있음을 보여준다.