[논문 리뷰] LidarGait: Benchmarking 3D Gait Recognition with Point Clouds

Chuanfu Shen, Chao Fan외 4명|arXiv (Cornell University)|2022. 11. 19.

Gait Recognition and Analysis인용 수 5

한 줄 요약

LidarGait는 깊이 맵 투영을 통해 정밀한 기하학적 특징을 추출하는 새로운 3D 걸음걸이 인식 프레임워크를 제안한다. 이는 기존의 카메라 기반 및 포인트 기반 방법보다 뛰어난 성능을 발휘하며, LiDAR 포인트 클라우드를 활용한다. 주요 기여는 다양한 실제 환경 변화를 수반하는 1,050명의 참가자, 25,239개의 시퀀스를 포함하는 SUSTech1K 데이터셋으로, 실외에서 도전적인 환경에서도 최신 기술 수준의 성능을 달성할 수 있도록 한다.

ABSTRACT

Video-based gait recognition has achieved impressive results in constrained scenarios. However, visual cameras neglect human 3D structure information, which limits the feasibility of gait recognition in the 3D wild world. Instead of extracting gait features from images, this work explores precise 3D gait features from point clouds and proposes a simple yet efficient 3D gait recognition framework, termed LidarGait. Our proposed approach projects sparse point clouds into depth maps to learn the representations with 3D geometry information, which outperforms existing point-wise and camera-based methods by a significant margin. Due to the lack of point cloud datasets, we built the first large-scale LiDAR-based gait recognition dataset, SUSTech1K, collected by a LiDAR sensor and an RGB camera. The dataset contains 25,239 sequences from 1,050 subjects and covers many variations, including visibility, views, occlusions, clothing, carrying, and scenes. Extensive experiments show that (1) 3D structure information serves as a significant feature for gait recognition. (2) LidarGait outperforms existing point-based and silhouette-based methods by a significant margin, while it also offers stable cross-view results. (3) The LiDAR sensor is superior to the RGB camera for gait recognition in the outdoor environment. The source code and dataset have been made available at https://lidargait.github.io.

연구 동기 및 목표

• 실제 환경에서 제약 조건이 있는 상황에서 성능이 제한되는 카메라 기반 걸음걸이 인식에서 3D 기하학적 정보의 부족을 해결한다.
• RGB 기반 걸음걸이 시스템에서 어두운 조도, 가림, 복잡한 배경 등으로 인한 시각적 모호성을 해결한다.
• 3D 걸음걸이 표현 및 인식 연구를 지원하기 위해 확장 가능하고 대규모의 LiDAR 기반 걸음걸이 인식 벤치마크를 개발한다.
• 인식 작업에서 강건하고 시점에 영향을 받지 않는 3D 걸음걸이 특징을 캡처하는 데서 LiDAR가 RGB 카메라보다 뛰어난 성능을 보임을 입증한다.
• 3D 포인트 클라우드 데이터를 활용해 프라이버시를 보호하고 딥페이크에 강한 생체 인식 식별을 가능하게 한다.

제안 방법

• 희박한 LiDAR 포인트 클라우드를 깊이 맵으로 투영하여 3D 기하학적 구조를 유지하면서도 컨volutional 네트워크를 활용한 효율적인 특징 학습을 가능하게 한다.
• 깊이 맵에서 훈련된 단순하지만 효과적인 딥러닝 아키텍처를 활용해 분류 가능한 3D 걸음걸이 표현을 추출한다.
• 실외 데이터 수집을 위해 이동식 로봇에 동기화된 LiDAR와 RGB 카메라를 사용하여 대규모 다중 모odal 데이터셋(SUSTech1K)을 수집한다.
• 실제 환경의 다양한 변화—시점 변화, 가림, 복장, 반경지, 조도 변화—를 데이터셋에 통합하여 야생 환경 조건을 시뮬레이션한다.
• 다양한 프로토콜, 특히 크로스뷰 및 크로스조건 설정에서의 성능 평가를 통해 강건성을 평가한다.
• 순위-1 및 순위-5 정확도 지표를 사용하여 제안된 LidarGait 프레임워크를 최신 기술 수준의 포인트 기반 및 실루엣 기반 방법과 비교한다.

실험 결과

연구 질문

• RQ1 RGB 카메라에서의 2D 실루엣과 비교해, LiDAR 포인트 클라우드에서 유도된 3D 기하학적 구조가 걸음걸이 인식 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ2 가림, 저조도, 시점 변화와 같은 도전적인 실제 환경 조건에서 LiDAR 기반 걸음걸이 인식의 성능은 어떻게 변하는가?
• RQ3 희박한 포인트 클라우드에 대해 설계된 기존의 3D 객체 분류를 위한 포인트 기반 딥러닝 모델이 걸음걸이 인식 작업에 얼마나 일반화되는가?
• RQ4 LiDAR + RGB의 다중 모달 데이터 융합이 걸음걸이 인식의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ5 카메라 기반 방법과 비교해 LiDAR 기반 걸음걸이 인식이 더 뛰어난 크로스뷰 일반화 성능과 안정성을 제공하는가?

주요 결과

• LidarGait는 SUSTech1K 데이터셋에서 순위-1 정확도 86.77%를 기록하여 카메라 기반 방법(순위-1 정확도 76.12%)과 포인트 기반 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 다양한 조건에서도 높은 성능 유지: 프로브가 가림, 반경지 등의 변화 조건에 있을 경우 순위-1 정확도 84.31%를 기록하여 강력한 일반화 능력을 입증했다.
• LiDAR 기반 인식은 순위-5 정확도 96.08%를 기록하여 도전적인 추론 상황에서도 강건성과 신뢰성을 입증했다.
• 포인트 클라우드에서 유도된 깊이 맵을 활용함으로써 t-SNE 시각화 결과, 분명한 클래스 간 간격과 조밀한 클래스 내 특징 분포가 나타났다.
• RGB 기반 실루엣이 세그멘테이션 오류로 인해 실패하는 경우가 많은 가림 및 저조도 조건에서도 LiDAR는 고품질의 걸음걸이 표현을 제공한다.
• SUSTech1K 데이터셋은 1,050명의 참가자와 25,239개의 시퀀스를 포함하여 안정적인 평가를 가능하게 하며, 향후 3D 걸음걸이 모델의 통계적 검증 및 벤치마크 지원에 기여한다.