[논문 리뷰] Gait Recognition in Large-scale Free Environment via Single LiDAR

Xiao Han, Ren, Yiming외 5명|arXiv (Cornell University)|2022. 11. 22.

Diabetic Foot Ulcer Assessment and Management인용 수 10

한 줄 요약

이 논문은 실외 및 실내 환경에서 제약 조건이 있는 상황에서도 강력한 걸음걸이 인식을 달성하기 위해 LiDAR의 시야에 영향을 받지 않는 깊이 데이터와 밀도 높은 2D 이미지 특징을 융합하는 새로운 LiDAR-카메라 다중모달 걸음걸이 인식 프레임워크인 LiCamGait을 제안한다. 이는 교차 어텐션을 사용한 기하학적-동적 인식(Geometry-Dynamic-Aware, GDA) 융합 전략을 도입하여 포인트 클라우드 및 실루엣 특징을 정렬함으로써, 새로운 LiCamGait 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 이 데이터셋은 실제 환경에서 동기화된 다중모달 데이터를 캡처한다.

ABSTRACT

Human gait recognition is crucial in multimedia, enabling identification through walking patterns without direct interaction, enhancing the integration across various media forms in real-world applications like smart homes, healthcare and non-intrusive security. LiDAR's ability to capture depth makes it pivotal for robotic perception and holds promise for real-world gait recognition. In this paper, based on a single LiDAR, we present the Hierarchical Multi-representation Feature Interaction Network (HMRNet) for robust gait recognition. Prevailing LiDAR-based gait datasets primarily derive from controlled settings with predefined trajectory, remaining a gap with real-world scenarios. To facilitate LiDAR-based gait recognition research, we introduce FreeGait, a comprehensive gait dataset from large-scale, unconstrained settings, enriched with multi-modal and varied 2D/3D data. Notably, our approach achieves state-of-the-art performance on prior dataset (SUSTech1K) and on FreeGait.

연구 동기 및 목표

• 카메라 전용 걸음걸이 인식의 한계를 해결하기 위해, 시야 의존성, 조도 민감성, 실루엣 또는 뼈대 품질에 대한 의존도를 줄이기 위한 목표.
• LiDAR의 시야에 영향을 받지 않는 깊이 데이터를 활용하여 대규모 실외 및 실내 환경에서 안정적인 3D 기하학적 및 동적 걸음걸이 특징을 추출하기 위한 목표.
• 2D 실루엣의 세밀한 구조적 특징과 LiDAR 포인트 클라우드의 강력한 3D 운동 및 형태 특징을 융합하는 효과적인 다중모달 융합 전략 개발 목표.
• 향후 연구를 지원하기 위해 동기화된 2D 및 3D 표현을 포함한 새로운 벤치마크 데이터셋인 LiCamGait을 구축하는 목표.
• 다양한 시야, 거리, 조도 수준과 같은 도전적인 조건에서도 강건성과 최신 기술 수준의 성능을 입증하는 목표.

제안 방법

• 교정 사전 지식이 필요 없는 상태에서 LiDAR 포인트 클라우드 특징과 2D 실루엣 특징 맵을 정렬하기 위해 교차 어텐션을 활용한 새로운 기하학적-동적 인식(Geometry-Dynamic-Aware, GDA) 융합 메커니즘 제안.
• 2D 실루엣을 RGB 카메라에서 입력으로 사용하여 밀도 높은 공간적 특징 학습을 수행하고, PointNet 및 PointMLP 백본을 사용하여 LiDAR 포인트 클라우드에서 3D 기하학적 및 동적 운동 특징을 추출.
• 최종 인물 재식별을 위해 융합된 특징에 수평 피라미드 풀링을 적용하여 다중 해상도 특징 집합을 가능하게 함.
• 실제 환경에서 제약 조건이 있는 상황에서 LiDAR와 카메라 센서를 동기화하여 다양한 걸음걸이 샘플을 캡처할 수 있는 다중모달 데이터 수집 파이프라인 설계.
• 포괄적인 평가를 지원하기 위해 실루엣, 2D/3D 자세, 3D 메시/SMPL 모델 등의 다양한 2D/3D 표현을 LiCamGait 데이터셋에 통합.
• 모듈 간 특징 학습의 분별성을 향상시키기 위해 대비 손실(contrastive loss)을 사용하여 모델을 엔드 투 엔드로 훈련.

실험 결과

연구 질문

• RQ1 다양한 조도 및 시야 조건에서 2D 카메라 전용 방법에 비해 LiDAR 기반 3D 포인트 클라우드가 걸음걸이 인식의 강건성에 상당한 기여를 할 수 있는가?
• RQ2 교정 또는 딱딱한 정렬에 의존하지 않고도 흩어진, 순서가 없는 LiDAR 포인트 클라우드와 밀도 높고 구조화된 2D 실루엣 간에 효과적인 특징 융합을 어떻게 달성할 수 있는가?
• RQ3 LiDAR와 카메라 데이터의 다중모달 융합이 장거리나 가림 현상 등 도전적인 조건에서 걸음걸이 인식 성능을 얼마나 향상시킬 수 있는가?
• RQ4 기존 융합 방법인 MulFusion 또는 PartFusion과 비교할 때 제안된 GDA 융합 전략이 세밀한 걸음걸이 특징을 얼마나 잘 유지하는가?
• RQ5 동기화된 다중모달 데이터를 포함한 새로운 실외 환경 데이터셋이 걸음걸이 인식 연구 분야에서 최신 기술 수준을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 LiCamGait 방법은 다양한 시야 조건(NORM, BAG, COAT)이 적용된 테스트 세트에서 mRank-1 정확도 55.17%를 달성하여, 2D 전용 방법 중 최고 성능을 보인 GLN(28.66%)을 크게 능가한다.
• 2~8미터 거리 범위에서 이 방법은 mRank-1 정확도 69.17%를 기록하여, 다음으로 우수한 성능을 보인 PointMLP(48.54%)보다 20.63%포인트 높게 기록하여 거리 변화에 대한 강건성을 입증한다.
• 더 긴 거리(8~15m)에서도 mRank-1 정확도 61.48%를 유지하는 반면, 2D 전용 방법은 40% 이하로 떨어지며, LiDAR의 장거리 인식에서의 우수성을 입증한다.
• 단지 12프레임(한 번의 걸음걸이 주기)만으로도 전체 시퀀스와 유사한 성능을 달성하여, 짧은 시퀀스에 대한 시간적 효율성과 강건성을 입증한다.
• LiDAR 전용 모델들(예: PointNet, PointMLP)이 최대 mRank-1 정확도 42.97%를 기록하여, LiDAR만으로도 제약 조건이 있는 환경에서 걸음걸이 인식에 매우 강력한 잠재력을 지닌다는 것을 시사한다.
• 절단 분석 결과, GDA 융합 전략이 2D 특징을 LiDAR의 기하학적 및 동적 특징으로 효과적으로 향상시켜, MulFusion 및 PartFusion과 같은 기준 융합 방법보다 우수한 성능을 내는 것으로 확인되었다.