[논문 리뷰] Gait Recognition in the Wild with Dense 3D Representations and A Benchmark

Jinkai Zheng, Xinchen Liu외 4명|arXiv (Cornell University)|2022. 04. 06.

Gait Recognition and Analysis인용 수 10

한 줄 요약

이 논문은 비구속 환경에서의 인식 성능 향상을 위해 밀도 높은 3D SMPL 신체 메esh를 사용하는 새로운 3D 걸음걸이 인식 프레임워크인 SMPLGait를 제안한다. 이는 39대의 카메라에서 4,000명의 주체와 25,000개의 시퀀스를 포함하는 첫 번째 대규모 3D 걸음걸이 데이터셋인 Gait3D를 도입하였으며, 3D 표현 방식이 2D 방법에 비해 특히 다각도 및 실제 환경 시나리오에서 뚜렷한 성능 향상을 보임을 입증한다.

ABSTRACT

Existing studies for gait recognition are dominated by 2D representations like the silhouette or skeleton of the human body in constrained scenes. However, humans live and walk in the unconstrained 3D space, so projecting the 3D human body onto the 2D plane will discard a lot of crucial information like the viewpoint, shape, and dynamics for gait recognition. Therefore, this paper aims to explore dense 3D representations for gait recognition in the wild, which is a practical yet neglected problem. In particular, we propose a novel framework to explore the 3D Skinned Multi-Person Linear (SMPL) model of the human body for gait recognition, named SMPLGait. Our framework has two elaborately-designed branches of which one extracts appearance features from silhouettes, the other learns knowledge of 3D viewpoints and shapes from the 3D SMPL model. In addition, due to the lack of suitable datasets, we build the first large-scale 3D representation-based gait recognition dataset, named Gait3D. It contains 4,000 subjects and over 25,000 sequences extracted from 39 cameras in an unconstrained indoor scene. More importantly, it provides 3D SMPL models recovered from video frames which can provide dense 3D information of body shape, viewpoint, and dynamics. Based on Gait3D, we comprehensively compare our method with existing gait recognition approaches, which reflects the superior performance of our framework and the potential of 3D representations for gait recognition in the wild. The code and dataset are available at https://gait3d.github.io.

연구 동기 및 목표

• 비구속적이고 실생활 시나리오에서 걸음걸이 인식에 3D 표현이 부족한 문제를 해결한다.
• 시점, 체형, 동적 정보를 상실하는 2D 표현 방식(예: 윤곽선, 뼈대)의 한계를 극복한다.
• 2D 외관 특징과 3D 메쉬 기반 특징을 융합하는 통합된 딥 러닝 프레임워크를 개발하여 강건성을 향상시킨다.
• 밀도 높은 3D 표현을 위한 연구를 가능하게 하는 대규모 실생활 3D 걸음걸이 데이터셋을 구축한다.
• 다각도 및 도메인 일반화 설정에서 3D 표현 방식이 2D 기반 모델에 비해 뛰어난 성능을 보임을 입증한다.

제안 방법

• 2D 윤곽선을 통한 외관 특징 처리와 3D SMPL 메쉬를 통한 3D 시점 및 체형 지식 처리를 위한 이중 브랜치 신경망 프레임워크인 SMPLGait를 제안한다.
• 다양한 3D 시점에서의 외관 특징를 정규화하기 위해 공간 변환 행렬을 학습하는 3D 공간 변환 네트워크(3D-STN)를 도입한다.
• 최신 3D 인간 메쉬 추정 기술을 활용해 영상 프레임에서 복구한 3D SMPL 모델을 활용한다.
• 사람 재식별을 최적화하기 위해 트리플릿 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• Gait3D 데이터셋에서의 2D 윤곽선, 3D 메쉬, 2D 관절점 정보를 동시에 활용하여 다중 모odal 감독을 적용한다.
• 차폐 및 시점 변화에 대한 강건성을 향상시키기 위해 데이터 증강 및 정규화 전략을 적용한다.

Figure 1 : Different gait representations of the same person from two viewpoints. Compared with silhouettes and skeletons, 3D meshes retain the shapes and viewpoints of the human body in the 3D space. (Best viewed in color.)

실험 결과

연구 질문

• RQ1 밀도 높은 3D 표현 방식(예: SMPL 메쉬)은 2D 표현 방식에 비해 비구속적이고 실생활 환경에서 걸음걸이 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 3D 시점 및 체형 정보를 얼마나 효과적으로 활용하여 다양한 카메라 각도에서 특징를 정규화하고 다각도 매칭 성능을 향상시킬 수 있는가?
• RQ3 제안된 SMPLGait 프레임워크는 정확도 및 도메인 일반화 측면에서 최신 2D 걸음걸이 인식 모델에 비해 어떻게 비교되는가?
• RQ4 대규모 실생활 3D 걸음걸이 데이터셋(Gait3D)을 사용할 경우 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 2D와 3D 표현 방식의 융합은 차폐 또는 저품질 윤곽선과 같은 곤경스러운 상황에서 인식 정확도를 추가로 향상시킬 수 있는가?

주요 결과

• SMPLGait 프레임워크는 OU-MVLP 벤치마크에서 97.84%의 랭크-1 정확도를 기록하였고, CASIA-B에서는 66.71%를 기록하여 Gait3D 데이터셋에서 얻은 강력한 일반화 능력을 입증하였다.
• Gait3D에서 미리 훈련된 모델는 GREW에서 훈련된 모델보다 훨씬 더 우수한 일반화 성능을 보였으며, ID 수가 적은(3,000명 대비 20,000명) 상태에서도 43.86%의 랭크-1 정확도를 기록하여 도메인 일반화 능력이 뛰어나다는 것을 시사한다.
• 도메인 간 평가 결과, 실내 실험 데이터셋(CASIA-B, OU-LP)에서 훈련된 모델는 Gait3D에서 빈도가 낮은 성능(각각 6.90% 및 6.10% 랭크-1)을 보이며 큰 도메인 갭이 있음을 확인하였다.
• SMPLGait의 3D 메쉬 브랜치는 Gait3D에서의 정성적 결과를 통해 저품질 윤곽선이나 차폐 상황에서도 정확한 매칭을 가능하게 함을 보여주었다.
• 2D와 3D 표현 방식의 융합은 단독으로 사용할 경우보다 높은 성능을 얻었으며, 이는 두 모odal 간 상보적 성질을 확인시켰다.
• 어려운 케이스 연구 결과, 유사한 옷차림과 체형이 주요 오류 원인임을 확인하였으며, 향후 연구의 핵심 제한 요소로 지목되었다.

Figure 2 : The architecture of the SMPLGait framework for 3D gait recognition in the wild.