[論文レビュー] Gait Recognition in Large-scale Free Environment via Single LiDAR

Xiao Han, Ren, Yiming+5 more|arXiv (Cornell University)|Nov 22, 2022

Diabetic Foot Ulcer Assessment and Management被引用数 10

ひとこと要約

本稿では、リアルな環境下で同期されたマルチモーダルデータを捉える新しいLiCamGaitデータセットを用いて、視点に依存しないLiDARの深度データと、高密度な2次元画像特徴を統合することで、制約のない環境でも頑健な歩行認識を実現する、新規なLiDAR-カメラマルチモーダル歩行認識フレームワーク「LiCamGait」を提案する。視点依存性のない深度データと、2次元シルエット特徴を、クロスアテンションを用いたジオメトリ・ダイナミック・アウェア（GDA）統合戦略で一致させることで、最先端の性能を達成した。

ABSTRACT

Human gait recognition is crucial in multimedia, enabling identification through walking patterns without direct interaction, enhancing the integration across various media forms in real-world applications like smart homes, healthcare and non-intrusive security. LiDAR's ability to capture depth makes it pivotal for robotic perception and holds promise for real-world gait recognition. In this paper, based on a single LiDAR, we present the Hierarchical Multi-representation Feature Interaction Network (HMRNet) for robust gait recognition. Prevailing LiDAR-based gait datasets primarily derive from controlled settings with predefined trajectory, remaining a gap with real-world scenarios. To facilitate LiDAR-based gait recognition research, we introduce FreeGait, a comprehensive gait dataset from large-scale, unconstrained settings, enriched with multi-modal and varied 2D/3D data. Notably, our approach achieves state-of-the-art performance on prior dataset (SUSTech1K) and on FreeGait.

研究の動機と目的

• カメラオンリーの歩行認識の限界、すなわち視点依存性、照明への感受性、シルエットやスケルトンの品質依存性を解消すること。
• LiDARが提供する視点に依存しない深度データを活用し、大規模な屋内外環境でも安定した3次元幾何的および動的歩行特徴を抽出すること。
• 2次元シルエットの詳細な構造的特徴と、LiDAR点群の頑健な3次元運動および形状特徴を効果的に統合するマルチモーダル統合戦略を開発すること。
• 2次元と3次元の表現が同期されたマルチモーダルデータを収集する新しいベンチマークデータセット「LiCamGait」を整備し、将来的なマルチモーダル歩行認識研究を支援すること。
• さまざまな視点、距離、照度レベルの下でも、頑健な性能と最先端の性能を示すことを実証すること。

提案手法

• 校正事前知識を必要とせず、LiDAR点群特徴と2次元シルエット特徴マップをクロスアテンションを用いて一致させる、新規なジオメトリ・ダイナミック・アウェア（GDA）統合メカニズムを提案する。
• 2次元シルエットをRGBカメラからの入力として、高密度な空間的特徴学習を実施する一方で、PointNetおよびPointMLPバックボーンを用いてLiDAR点群から3次元幾何的および動的運動特徴を抽出する。
• 最終的な人物再識別を実現するため、統合特徴に水平ピラミッドプーリングを適用し、マルチスケール特徴の集約を可能にする。
• リアルで制約のない環境下でLiDARとカメラセンサーを同期させるためのマルチモーダルデータ収集パイプラインを設計する。
• 包括的な評価を可能にするために、シルエット、2次元・3次元ポーズ、3次元メッシュ/SMPLモデルといった多様な2次元・3次元表現をLiCamGaitデータセットに統合する。
• 対照損失を用いてエンドツーエンドでモデルを学習させ、モダリティ間の判別的特徴学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 照明や視点の変化下でも、2Dカメラオンリー手法と比較して、LiDARベースの3次元点群が歩行認識の頑健性を著しく向上させられるか？
• RQ2 校正情報やハードなアライメントに依存せずに、疎で順序のないLiDAR点群と、密で構造的な2次元シルエットの間で、効果的な特徴統合をどのように達成できるか？
• RQ3 長距離や遮蔽状況下でも、LiDARとカメラのマルチモーダル統合が、歩行認識性能をどの程度向上させるか？
• RQ4 GDA統合戦略は、MulFusion や PartFusion といった既存の統合手法と比較して、細粒度の歩行特徴をどの程度効果的に保持できるか？
• RQ5 同期されたマルチモーダルデータを有する新規なリアルな環境データセットが、歩行認識研究分野におけるSOTAを著しく前進させられるか？

主な発見

• 提案手法LiCamGaitは、さまざまな視点（NORM, BAG, COAT）を含むテストセットでmRank-1精度55.17%を達成し、2Dオンリー手法の最良手法（GLN）の28.66%を大きく上回った。
• 2〜8メートルの距離範囲では、mRank-1精度69.17%を達成し、次善の手法（PointMLP）と比較して20.63ポイントも優れており、距離変動に対する強い頑健性を示した。
• 長距離（8〜15m）では、mRank-1精度61.48%を維持した一方で、2Dオンリー手法は40%未満に低下した。これは、LiDARが長距離認識において顕著な利点を有することを示している。
• 12フレーム（1回の歩行サイクル）の入力でも、完全なシーケンスと同等の性能を達成した。これは、短いシーケンスに対しても時間的効率と頑健性が優れていることを示している。
• LiDARオンリーのモデル（例：PointNet, PointMLP）は、最高で42.97%のmRank-1精度を達成し、LiDAR単体でも、制約のない環境下で歩行認識に強い可能性を示している。
• アブレーションスタディの結果、GDA統合戦略が2次元特徴をLiDARの幾何的および動的特徴で効果的に強化しており、MulFusion や PartFusion といったベースライン統合手法を上回った。