[논문 리뷰] A Benchmark for Gait Recognition under Occlusion Collected by Multi-Kinect SDAS

Na Li, Xinbo Zhao|arXiv (Cornell University)|2021. 07. 19.

Gait Recognition and Analysis인용 수 5

한 줄 요약

이 논문은 자기 차폐, 활성 차폐(예: 배낭, 장coat), 수동 차폐(예: 그룹 산책)와 같은 실제적인 차폐 조건 하에서의 걸음걸이 인식을 위한 OG RGB+D 벤치마크 데이터베이스를 소개한다. 이 데이터베이스는 다중 Kinect SDAS 시스템을 사용해 정확한 3차원 관절 위치(OJ)와 실루엣을 포함한 다중 모odal 데이터를 촬영하여 수집되었다. 또한 이중 관절 표현(3차원 관절 및 체형 특징)을 활용하는 시아모이스 스파ati오텀포럴 GCN 모델인 SkeletonGait를 제안하며, 심한 차폐 조건에서도 최신 기술을 초월하는 성능을 달성한다. 특히 가시성이 떨어질 경우 외형 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Human gait is one of important biometric characteristics for human identification at a distance. In practice, occlusion usually occurs and seriously affects accuracy of gait recognition. However, there is no available database to support in-depth research of this problem, and state-of-arts gait recognition methods have not paid enough attention to it, thus this paper focuses on gait recognition under occlusion. We collect a new gait recognition database called OG RGB+D database, which breaks through the limitation of other gait databases and includes multimodal gait data of various occlusions (self-occlusion, active occlusion, and passive occlusion) by our multiple synchronous Azure Kinect DK sensors data acquisition system (multi-Kinect SDAS) that can be also applied in security situations. Because Azure Kinect DK can simultaneously collect multimodal data to support different types of gait recognition algorithms, especially enables us to effectively obtain camera-centric multi-person 3D poses, and multi-view is better to deal with occlusion than single-view. In particular, the OG RGB+D database provides accurate silhouettes and the optimized human 3D joints data (OJ) by fusing data collected by multi-Kinects which are more accurate in human pose representation under occlusion. We also use the OJ data to train an advanced 3D multi-person pose estimation model to improve its accuracy of pose estimation under occlusion for universality. Besides, as human pose is less sensitive to occlusion than human appearance, we propose a novel gait recognition method SkeletonGait based on human dual skeleton model using a framework of siamese spatio-temporal graph convolutional networks (siamese ST-GCN). The evaluation results demonstrate that SkeletonGait has competitive performance compared with state-of-art gait recognition methods on OG RGB+D database and popular CAISA-B database.

연구 동기 및 목표

• 자신의 차폐, 활성 차폐(예: 배낭, 장coat), 수동 차폐(예: 그룹 산책) 등 실제적인 차폐 조건에서 걸음걸이 인식을 위한 벤치마크 데이터셋의 부족 문제를 해결하기 위해.
• 자신의 차폐에 영향을 받지 않는 카메라 중심의 다중 인원 3차원 인간 자세를 촬영할 수 있는 견고한 데이터 촬영 시스템(다중 Kinect SDAS)을 개발하기 위해.
• 모델 기반 및 외형 기반 방법을 모두 지원하는 다양한 걸음걸이 인식 알고리즘을 위한 다중 모달 걸음걸이 데이터베이스(OG RGB+D)를 구축하기 위해.
• 이중 관절 표현(3차원 관절 및 체형 특징)을 활용해 차폐 조건에서도 강건한 성능을 보이는 새로운 걸음걸이 인식 모델인 SkeletonGait를 제안하기 위해.
• 새로운 OG RGB+D 데이터베이스와 표준 CAISA-B 데이터베이스에서 SkeletonGait 및 기존 방법의 성능을 평가하여, 차폐 조건 하에서의 강건성을 입증하기 위해.

제안 방법

• 3대의 동기화된 Azure Kinect DK 센서를 사용해 실시간 RGB, 깊이 및 3차원 관절 데이터를 촬영하는 다중 Kinect SDAS 시스템을 설계 및 구현한다.
• 다중 시점 데이터 융합 기법을 적용해 다중 Kinect의 데이터를 융합함으로써 정확한 카메라 중심의 3차원 관절 위치(OJ)를 생성하고, 차폐 조건 하에서도 자세 추정의 강건성을 향상시킨다.
• 자기 차폐(8개 시점), 활성 차폐(배낭, 장coat, 큰 소지품), 수동 차폐(3명이 함께 걷는 경우) 등 다양한 차폐 유형을 포함한 OG RGB+D 데이터베이스를 수집한다.
• 다중 센서 환경에서 정확한 실루엣과 OJ 데이터를 추출하여, 외형 기반 및 모델 기반 걸음걸이 인식 방법 모두를 지원한다.
• 이중 관절 표현(3차원 관절 및 체형 특징)을 동시에 처리하는 시아모이스 스파ati오텀포럴 그래프 컬러이션 네트워크(ST-GCN)인 SkeletonGait를 제안한다.
• 대조 손실을 사용해 엔드 투 엔드로 모델을 훈련시켜, 차폐에 영향을 받지 않는 분류 가능한 걸음걸이 특징을 학습하며, 다중 걸음걸이 및 도전적인 조건에 중점을 둔다.

실험 결과

연구 질문

• RQ1 최신 기술의 걸음걸이 인식 방법은 자기 차폐, 가방, 그룹 산책과 같은 실제적인 차폐 조건 하에서 성능이 어떻게 저하되는가?
• RQ2 다중 센서 데이터 촬영 시스템(multi-Kinect SDAS)은 심한 차폐 조건 하에서도 정확하고 카메라 중심의 3차원 인간 자세를 효과적으로 촬영할 수 있는가?
• RQ3 다양한 차폐 유형과 다중 모달 데이터를 포함한 제안된 OG RGB+D 데이터베이스는 기존의 벤치마크에 비해 걸음걸이 인식 모델의 평가를 얼마나 향상시키는가?
• RQ4 이중 관절 표현(3차원 관절 및 체형 특징)을 활용하는 모델 기반 걸음걸이 인식 접근법이 차폐 조건 하에서 외형 기반 방법보다 우수한 성능을 보일 수 있는가?
• RQ5 다양한 차폐 수준에서 OG RGB+D 및 CAISA-B 데이터베이스에서 제안된 SkeletonGait 모델이 최신 기술의 걸음걸이 인식 방법보다 정확도와 강건성 측면에서 어떻게 비교되는가?

주요 결과

• OG RGB+D 데이터베이스는 1,080개의 걸음걸이 시퀀스를 포함하며, 다양한 차폐 유형을 수반한다. 이는 자기 차폐(8개 시점), 활성 차폐(5가지 조건), 3인 수동 차폐를 포함하며, CASIA-B보다 더 도전적인 수준이다.
• SkeletonGait는 BG(배경) 조건에서 98.3%의 랭크-1 정확도, CL(근접) 조건에서 96.7%의 랭크-1 정확도를 기록하여, 모든 고급 모델 기반 방법과 대부분의 외형 기반 방법을 능가한다.
• 심한 차폐 조건(Low-OC, High-CL, Multi-Group) 하에서, MT3D 및 GaitSet과 같은 외형 기반 방법은 정확도가 크게 하락(예: 70% 이하)하지만, SkeletonGait는 90% 이상의 강건한 성능을 유지한다.
• OG RGB+D의 OJ 데이터로 미세조정된 추론 후 자세 추정 모델은 원래 Moon 등(2019)의 모델 대비 BG 및 CL 조건에서 평균 걸음걸이 인식 정확도를 1.4% 향상시켰다.
• OG RGB+D의 특징 분포는 CASIA-B에 비해 특히 차폐 조건 하에서 더 산만하고 갤러리 분포에서 더 멀리 떨어져 있어, 더 높은 도전 수준임을 확인한다.
• SkeletonGait는 소형 모델 크기, 빠른 수렴 속도, 양호한 안정성을 보이며, 실제의 차폐 조건 하에서의 걸음걸이 인식에 실용적으로 구현 가능함을 시사한다.