[논문 리뷰] VersatileGait: A Large-Scale Synthetic Gait Dataset with Fine-GrainedAttributes and Complicated Scenarios

Huanzhang Dou, Wenhu Zhang외 7명|arXiv (Cornell University)|2021. 01. 05.

Gait Recognition and Analysis참고 문헌 49인용 수 11

한 줄 요약

이 논문은 게임 엔진을 통해 생성한 대규모 합성 자취 데이터셋인 VersatileGait를 소개한다. 이 데이터셋은 11,000명의 주체에 대해 약 100만 개의 실루엣 시퀀스를 포함하며, 세분화된 특성과 복잡한 시나리오를 갖추고 있다. 이는 도메인 일반화, 특성 예측을 통한 다중 작업 학습, 다중 피치 각도에서의 강건성 평가를 통해 실생활 자취 인식 성능을 향상시키며, 사전 훈련 후 CASIA-B에서 랭크-1 정확도가 1.1% 향상되었다.

ABSTRACT

With the motivation of practical gait recognition applications, we propose to automatically create a large-scale synthetic gait dataset (called VersatileGait) by a game engine, which consists of around one million silhouette sequences of 11,000 subjects with fine-grained attributes in various complicated scenarios. Compared with existing real gait datasets with limited samples and simple scenarios, the proposed VersatileGait dataset possesses several nice properties, including huge dataset size, high sample diversity, high-quality annotations, multi-pitch angles, small domain gap with the real one, etc. Furthermore, we investigate the effectiveness of our dataset (e.g., domain transfer after pretraining). Then, we use the fine-grained attributes from VersatileGait to promote gait recognition in both accuracy and speed, and meanwhile justify the gait recognition performance under multi-pitch angle settings. Additionally, we explore a variety of potential applications for research.Extensive experiments demonstrate the value and effective-ness of the proposed VersatileGait in gait recognition along with its associated applications. We will release both VersatileGait and its corresponding data generation toolkit for further studies.

연구 동기 및 목표

• 세분화된 특성과 복잡한 실생활 시나리오를 갖춘 대규모이고 다양한 자취 데이터셋의 부족을 보완하기 위해.
• 작은 규모, 단순한 애너테이션, 제한된 시점 변동성 등의 문제를 가진 실생활 데이터셋의 한계를 극복하기 위해.
• 다중 피치 각도 및 다중 시점 조건에서 도메인 일반화와 강건성을 향상시키기 위해.
• 특성 기반 자취 검색, 다중 인물 자취 인식, 분리 표현 학습과 같은 새로운 응용 분야를 탐색하기 위해.

제안 방법

• 게임 엔진을 사용해 매개변수화된 특성(예: 성별, 옷차림, 액세서리)을 가진 고해상도 3D 인간 모델을 생성하기 위해.
• 다양한 걷기 애니메이션을 시뮬레이션하고, 이를 다양한 신체 유형과 자취에 리타겟팅하기 위해.
• 다중 카메라 각도와 조명 조건을 갖춘 복잡하고 현실적인 장면을 렌더링하여 실생활의 변동성을 시뮬레이션하기 위해.
• 도메인 갭을 최소화하기 위해 고품질의 실루엣 시퀀스(텍스처 없음, 이진 마스크)를 캡처하기 위해.
• 다중 작업 학습을 위해 각 시퀀스에 세분화된 특성 애너테이션(예: 옷차림, 가방, 걷기 스타일)을 통합하기 위해.
• 합성 데이터셋을 사용해 딥 러닝 모델을 사전 훈련하고, 이를 실제 벤치마크인 CASIA-B에서 미세 조정하기 위해.

실험 결과

연구 질문

• RQ1 세분화된 특성과 복잡한 시나리오를 갖춘 대규모 합성 자취 데이터셋이 실생활 자취 인식의 일반화 성능을 향상시킬 수 있는가?
• RQ2 다중 피치 각도 데이터는 자취 인식 모델의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ3 특성 예측을 활용해 빠른 필터링을 통해 자취 검색 속도를 높일 수 있는가?
• RQ4 특정 피치 각도(예: 60°)가 누락되었을 경우, 교차 피치 인식에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 VersatileGait는 다중 인물 자취 인식 및 분리 표현 학습과 같은 새로운 응용 분야를 지원할 수 있는가?

주요 결과

• VersatileGait에서의 사전 훈련으로 SOTA 방법의 CASIA-B 데이터셋에서 랭크-1 정확도가 1.1% 향상되었다.
• 60° 피치 각도 데이터 없이 훈련된 모델은 성능이 극적으로 저하되어 고각도 데이터의 필요성을 입증했다.
• 30° 피치 각도 데이터 없이 훈련된 모델은 비교적 안정된 성능을 유지하여 중간 각도 시점에 덜 민감함을 시사했다.
• 60° 프로브 시점에서 교차 피치 각도 인식 정확도가 크게 떨어졌으며, 이는 고지오메트릭 왜곡 문제를 암시했다.
• 특성 기반 다중 작업 학습을 통해 예측된 특성을 활용한 필터링을 통해 자취 검색 속도가 향상되었다.
• 이 데이터셋은 가림 현상 하에서 다중 인물 자취 인식 및 자취 및 액세서리 특성에 대한 분리 표현 학습과 같은 새로운 응용 분야를 지원한다.