[論文レビュー] LidarGait: Benchmarking 3D Gait Recognition with Point Clouds

Chuanfu Shen, Chao Fan+4 more|arXiv (Cornell University)|Nov 19, 2022

Gait Recognition and Analysis被引用数 5

ひとこと要約

LidarGaitは、LiDAR点群を用いて正確な幾何的特徴を抽出する新しい3次元歩行認識フレームワークを提案する。深度マップへの投影を活用することで、従来のカメラベースおよび点群ベースの手法を凌駕する。主な貢献は、多様な現実世界の変動を含む1,050名、25,239シーケンスを含むSUSTech1Kデータセットであり、屋外で困難な環境下でも最先端の性能を実現する。

ABSTRACT

Video-based gait recognition has achieved impressive results in constrained scenarios. However, visual cameras neglect human 3D structure information, which limits the feasibility of gait recognition in the 3D wild world. Instead of extracting gait features from images, this work explores precise 3D gait features from point clouds and proposes a simple yet efficient 3D gait recognition framework, termed LidarGait. Our proposed approach projects sparse point clouds into depth maps to learn the representations with 3D geometry information, which outperforms existing point-wise and camera-based methods by a significant margin. Due to the lack of point cloud datasets, we built the first large-scale LiDAR-based gait recognition dataset, SUSTech1K, collected by a LiDAR sensor and an RGB camera. The dataset contains 25,239 sequences from 1,050 subjects and covers many variations, including visibility, views, occlusions, clothing, carrying, and scenes. Extensive experiments show that (1) 3D structure information serves as a significant feature for gait recognition. (2) LidarGait outperforms existing point-based and silhouette-based methods by a significant margin, while it also offers stable cross-view results. (3) The LiDAR sensor is superior to the RGB camera for gait recognition in the outdoor environment. The source code and dataset have been made available at https://lidargait.github.io.

研究の動機と目的

• カメラベースの歩行認識において3次元幾何的情報が不足していることによる、実世界の制約のない環境下での性能制限を解消すること。
• RGBベースの歩行システムにおける、照明不良、隠蔽、複雑な背景による視覚的曖昧性を克服すること。
• 3次元歩行表現および認識分野の研究を支援する、スケーラブルで大規模なLiDARベースの歩行認識ベンチマークの構築。
• 認識タスクにおける、視点に依存しない頑健な3次元歩行特徴を捉えるために、RGBカメラよりもLiDARが優れていることを実証すること。
• 3次元点群データを用いることで、プライバシー保護が可能で、フェイク映像（deepfake）に強く対応できる生物認証識別を実現すること。

提案手法

• スパースなLiDAR点群を深度マップに投影することで、3次元幾何的構造を保持するとともに、畳み込みニューラルネットワークによる効率的な特徴学習を可能にする。
• 深度マップ上で訓練されたシンプルで効果的なディーブラーニングアーキテクチャを用い、識別的な3次元歩行表現を抽出する。
• 屋外でのデータ収集を目的として、モバイルロボット上に同期されたLiDARとRGBカメラを搭載し、大規模かつマルチモーダルなデータセット（SUSTech1K）を収集する。
• 視点の変化、隠蔽、衣服、荷物持参、照明条件の変動といった多様な現実世界の変動をデータセットに組み込み、野生環境を模擬する。
• 複数の評価プロトコル（クロスビュー、クロスコンディション設定など）を用いて、性能の頑健性を評価する。
• ランク1およびランク5の正確度指標を用いて、提案されたLidarGaitフレームワークを最先端の点群ベースおよびシルエットベースの手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 LiDAR点群から得られる3次元幾何的構造は、RGBカメラからの2次元シルエットと比較して、歩行認識の正確度を顕著に向上させることができるか？
• RQ2 遮蔽、低照度、視点の変化といった困難な現実世界の条件下で、LiDARベースの歩行認識の性能はどのように変動するか？
• RQ3 スパースな点群を対象とする3次元物体分類を目的とした既存の点群ベースディーブラーニングモデルは、歩行認識タスクにどの程度一般化可能か？
• RQ4 LiDAR＋RGBのマルチモーダルデータ統合は、歩行認識の頑健性および正確度にどのような影響を与えるか？
• RQ5 カメラベースの手法と比較して、LiDARベースの歩行認識は、より優れたクロスビュー一般化性能と安定性を示すか？

主な発見

• LidarGaitはSUSTech1Kデータセットでランク1正確度86.77％を達成し、カメラベース手法（ランク1正確度76.12％）および点群ベースモデルを顕著に上回る。
• フレームワークは多様な条件下でも高い性能を維持する：プローブが遮蔽や荷物持参などの変動条件にある場合でも、ランク1正確度84.31％を達成し、優れた一般化性能を示す。
• LiDARベースの認識はランク5正確度96.08％を達成しており、困難な推論状況下でも頑健で信頼性が高いことを示している。
• 点群からの深度マップの使用により、t-SNE可視化で示されるように、明確なクラス間マージンとコンパクトなクラス内特徴分布が得られる。
• RGBベースのシルエットとは異なり、LiDARは遮蔽や照明不良下でも高品質な歩行特徴を提供する。RGBベースでは、セグメンテーションエラーのため頻繁に失敗する。
• SUSTech1Kデータセットにより、1,050名、25,239シーケンスにわたる安定した評価が可能となり、今後の3次元歩行モデルの統計的検証およびベンチマーク化を支援する。