[논문 리뷰] On Learning Disentangled Representations for Gait Recognition

Ziyuan Zhang, Luan Tran외 2명|arXiv (Cornell University)|2019. 09. 05.

Gait Recognition and Analysis참고 문헌 75인용 수 13

한 줄 요약

이 논문은 RGB 걸음걸이 영상에서 외관, 표준형, 자세 특징을 분리하여 옷차림과 시점 변화와 같은 혼란 인자에 대한 인식 정확도를 향상시키는 새로운 자동에코기반 딥러닝 프레임워크인 GaitNet을 제안한다. LSTM를 통한 시계열 모델링과 고유한 손실 함수를 활용함으로써 GaitNet은 CASIA-B, USF, 그리고 새로운 정면 시점 걸음걸이 데이터셋(FVG)에서 최신 기술 수준의 성능을 달성하여 기존 방법에 비해 뛰어난 정확도, 분리 품질, 계산 효율성을 입증한다.

ABSTRACT

Gait, the walking pattern of individuals, is one of the important biometrics modalities. Most of the existing gait recognition methods take silhouettes or articulated body models as gait features. These methods suffer from degraded recognition performance when handling confounding variables, such as clothing, carrying and viewing angle. To remedy this issue, we propose a novel AutoEncoder framework, GaitNet, to explicitly disentangle appearance, canonical and pose features from RGB imagery. The LSTM integrates pose features over time as a dynamic gait feature while canonical features are averaged as a static gait feature. Both of them are utilized as classification features. In addition, we collect a Frontal-View Gait (FVG) dataset to focus on gait recognition from frontal-view walking, which is a challenging problem since it contains minimal gait cues compared to other views. FVG also includes other important variations, e.g., walking speed, carrying, and clothing. With extensive experiments on CASIA-B, USF, and FVG datasets, our method demonstrates superior performance to the SOTA quantitatively, the ability of feature disentanglement qualitatively, and promising computational efficiency. We further compare our GaitNet with state-of-the-art face recognition to demonstrate the advantages of gait biometrics identification under certain scenarios, e.g., long distance/lower resolutions, cross viewing angles.

연구 동기 및 목표

• 옷차림, 반려동물 반입, 시점 변화와 같은 혼란 인자에 민감한 기존 걸음걸이 인식 방법의 한계를 해결하기 위해.
• RGB 영상에서 외관(옷차림)과 비걸음걸이 요소를 제외한 걸음걸이 관련 특징(표준형 및 자세)을 자동으로 분리하는 엔드 투 엔드 딥러닝 프레임워크를 개발하기 위해.
• 최소한의 걸음걸이 신호와 높은 변동성을 가진 조건에서 성능 평가를 위해 새로운 정면 시점 걸음걸이 데이터셋(FVG)을 수집하고 공개하기 위해.
• 분리된 표현 학습이 저해상도 또는 곤란한 시점 조건에서 더 강건하고 일반화 능력이 뛰어난 걸음걸이 인식을 가능하게 함을 입증하기 위해.
• 유사 조건에서 최신 기술 수준의 얼굴 인식 시스템과의 성능 비교를 통해 걸음걸이 인식의 장점을 부각시키기 위해.

제안 방법

• GaitNet은 자동에코 기반의 CNN으로, 각 영상 프레임을 자세(동적), 표준형(개인별 신체 형상), 외관(옷차림/텍스처)의 세 가지 분리된 잠재 특징으로 인코딩한다.
• 모델은 한 프레임의 표준형 + 외관과 다른 프레임의 자세를 융합한 특징가 타겟 프레임을 재구성할 수 있도록 하는 교차 재구성 손실을 사용한다.
• 자세 유사도 손실은 동일한 주체의 영상 프레임 간 자세 특징의 시간적 일관성을 강제한다.
• 표준형 일관성 손실은 동일 주체의 다양한 영상에서 표준형 특징이 안정적으로 유지되도록 하여 신원 불변성을 촉진한다.
• 자세 특징은 다층 LSTM을 통해 시계열 동역학을 모델링하고, 점진적 신원 손실이 적용되어 분류 능력을 향상시킨다.
• 최종 걸음걸이 표현은 시간 평균된 정적 표준형 특징과 LSTM 처리된 동적 자세 특징을 조합하여 분류에 함께 사용된다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥러닝 모델이 RGB 걸음걸이 영상에서 외관과 혼란 인자로부터 걸음걸이 관련 특징(표준형 및 자세)을 효과적으로 분리할 수 있는가?
• RQ2 제안된 분리 프레임워크가 옷차림, 반려동물 반입, 보행 속도, 시점 변화 등의 변동성에 대응하여 인식 정확도와 강건성을 향상시키는가?
• RQ3 저해상도 또는 비정면 시점 조건과 같은 곤란한 조건에서 GaitNet의 성능은 최신 기술 수준의 얼굴 인식 시스템과 비교해 어떻게 되는가?
• RQ4 분리된 표현 학습이 다양한 데이터셋과 걸음걸이 모odalities 간의 일반화 능력을 얼마나 향상시키는가?
• RQ5 제안된 방법이 낮은 계산 비용으로도 높은 정확도를 달성하여 실세계 적용에 적합한가?

주요 결과

• GaitNet은 CASIA-B, USF, 그리고 새로 수집한 FVG 데이터셋에서 최신 기술 수준의 성능을 달성하여 다양한 변동 조건에서 기존 방법보다 뛰어난 인식 정확도를 확보한다.
• FVG 데이터셋에서 NM-BGHT 프로토콜 기준 98.2%의 정확도와 NM-ALL* 기준 97.6%의 정확도를 기록하여 옷차림과 액세서리 변화에 매우 강건함을 입증한다.
• 저해상도 및 비정면 시점 조건에서도 높은 정확도를 유지하며, 얼굴 인식은 일관되게 성능이 열 劣한다.
• GaitNet은 계산적으로 효율적이며, FVG 데이터셋에서 프레임당 총 추론 시간이 90.5ms로, 자세 기반 방법을 초월하고 최근의 CNN 기반 걸음걸이 모델과 유사한 속도를 확보한다.
• 정성적 시각화 결과 분리된 특징이 의미적으로 유의미하다는 것을 확인할 수 있다: 외관 특징은 옷차림을 반영하고, 표준형 특징은 신체 형상을 반영하며, 자세 특징은 운동을 추적한다.
• 장거리 및 저해상도 조건에서는 GaitNet이 ArcFace를 일관되게 능가하며, 특히 얼굴 인식이 실패하는 측면 시점 또는 비정면 조건에서 뚜렷한 우위를 보인다.