[論文レビュー] A Benchmark for Gait Recognition under Occlusion Collected by Multi-Kinect SDAS

Na Li, Xinbo Zhao|arXiv (Cornell University)|Jul 19, 2021

Gait Recognition and Analysis被引用数 5

ひとこと要約

本稿は、自己遮蔽、能動的遮蔽（例：バックパック、長コート）、受動的遮蔽（例：複数人での歩行）を含む現実的な遮蔽状況下での歩行認識のための、OG RGB+Dベンチマークデータベースを紹介する。マルチ・キネクト・SDASシステムを用いて、正確な3次元関節位置（OJ）とシルエットを含むマルチモーダルデータを収集した。本稿では、2重のスケルトン表現（3次元関節と身体寸法特徴）を用いるシアンペア型空間時間グラフ畳み込みネットワーク（ST-GCN）モデル「SkeletonGait」を提案し、重度の遮蔽下でも最先端の性能を達成した。視認性が低下する状況下でも、外見ベースの手法を上回った。

ABSTRACT

Human gait is one of important biometric characteristics for human identification at a distance. In practice, occlusion usually occurs and seriously affects accuracy of gait recognition. However, there is no available database to support in-depth research of this problem, and state-of-arts gait recognition methods have not paid enough attention to it, thus this paper focuses on gait recognition under occlusion. We collect a new gait recognition database called OG RGB+D database, which breaks through the limitation of other gait databases and includes multimodal gait data of various occlusions (self-occlusion, active occlusion, and passive occlusion) by our multiple synchronous Azure Kinect DK sensors data acquisition system (multi-Kinect SDAS) that can be also applied in security situations. Because Azure Kinect DK can simultaneously collect multimodal data to support different types of gait recognition algorithms, especially enables us to effectively obtain camera-centric multi-person 3D poses, and multi-view is better to deal with occlusion than single-view. In particular, the OG RGB+D database provides accurate silhouettes and the optimized human 3D joints data (OJ) by fusing data collected by multi-Kinects which are more accurate in human pose representation under occlusion. We also use the OJ data to train an advanced 3D multi-person pose estimation model to improve its accuracy of pose estimation under occlusion for universality. Besides, as human pose is less sensitive to occlusion than human appearance, we propose a novel gait recognition method SkeletonGait based on human dual skeleton model using a framework of siamese spatio-temporal graph convolutional networks (siamese ST-GCN). The evaluation results demonstrate that SkeletonGait has competitive performance compared with state-of-art gait recognition methods on OG RGB+D database and popular CAISA-B database.

研究の動機と目的

• 現実的な遮蔽状況（自己遮蔽、能動的遮蔽（例：バックパック、長コート）、受動的遮蔽（例：複数人での歩行））下での歩行認識のためのベンチマークデータセットの不足に対処すること。
• 遮蔽に影響されないカメラ中心の多人数3次元人体ポーズを正確に捉えることのできる、強力なデータ収集システム（マルチ・キネクト・SDAS）の開発と実装。
• モデルベースおよび外見ベースの手法を含む多様な歩行認識アルゴリズムをサポートするマルチモーダルな歩行認識データベース（OG RGB+D）の構築。
• 2重のスケルトン表現（3次元関節と身体寸法特徴）を活用することで、遮蔽下でもより高い耐性を示す、新しい歩行認識モデル「SkeletonGait」の提案。
• 新規のOG RGB+Dデータベースおよび標準的なCAISA-Bデータベース上で、SkeletonGaitおよび既存手法の性能を評価し、遮蔽下での耐性を強調すること。

提案手法

• 3台の同期されたAzure Kinect DKセンサーを用いて、リアルタイムにRGB、深度、3次元関節データを収集するマルチ・キネクト・SDASシステムを設計・実装。
• 複数視点のデータ統合手法を適用し、複数のキネクトからのデータを融合することで、正確でカメラ中心の3次元関節位置（OJ）を生成し、遮蔽下でのポーズ推定の耐性を向上。
• 自己遮蔽（8視点）、能動的遮蔽（バックパック、長コート、大型の荷物）、受動的遮蔽（3人で歩行）を含む多様な遮蔽タイプを持つOG RGB+Dデータベースを収集。
• マルチセンサー構成から正確なシルエットとOJデータを抽出し、外見ベースおよびモデルベースの歩行認識手法の両方をサポート。
• 3次元関節と身体寸法特徴の2つのスケルトン表現を同時に処理する、シアンペア型空間時間グラフ畳み込みネットワーク（ST-GCN）である「SkeletonGait」を提案。
• 対照的損失を用いてエンド・トゥ・エンドでモデルを学習させ、遮蔽に不変な判別性の高い歩行特徴を学習し、複数の歩行および困難な状況に重点を置いた学習を実施。

実験結果

リサーチクエスチョン

• RQ1 最先端の歩行認識手法は、衣類、荷物、複数人での歩行などの現実的な遮蔽状況下で、性能がどの程度低下するのか？
• RQ2 マルチセンサー型データ収集システム（マルチ・キネクト・SDAS）は、重度の遮蔽下でも正確でカメラ中心の3次元人体ポーズを効果的に捉えることができるのか？
• RQ3 多様な遮蔽タイプとマルチモーダルデータを備えた本稿で提案するOG RGB+Dデータベースは、従来のベンチマークと比較して、歩行認識モデルの評価をどの程度向上させるのか？
• RQ4 3次元関節と身体寸法特徴の2重スケルトン表現を用いるモデルベースの歩行認識アプローチは、遮蔽下で外見ベースの手法を上回る性能を発揮するのか？
• RQ5 遮蔽レベルが変化する状況下で、OG RGB+DおよびCAISA-Bデータベース上での精度と耐性の観点から、本稿で提案するSkeletonGaitモデルは、最先端の歩行認識手法と比較してどの程度優れているのか？

主な発見

• OG RGB+Dデータベースには、1,080の歩行シーケンスが含まれており、多様な遮蔽タイプをカバーしている。自己遮蔽（8視点）、能動的遮蔽（5条件：バックパック、長コート、大型荷物）、3人での受動的遮蔽を含み、CASIA-Bよりもさらに挑戦的である。
• SkeletonGaitは、OG RGB+DのBG（背景）条件下で98.3%のランク1精度、CL（クローズアップ）条件下で96.7%のランク1精度を達成し、すべての最先端のモデルベース手法および大多数の外見ベース手法を上回った。
• 重度の遮蔽（LOB、HCL、MG）下では、外見ベース手法（MT3D、GaitSet）の精度が著しく低下（例：70%未満）する一方、SkeletonGaitは90%以上の高い耐性を維持した。
• OG RGB+DのOJデータで微調整された、トレーニング後処理のポーズ推定モデルは、元のMoonら（2019）のモデルと比較して、BGおよびCL条件下で平均歩行認識精度を1.4%向上させた。
• OG RGB+Dの特徴分布は、CASIA-Bと比較して、特に遮蔽下でははるかに分散が大きく、ギャラリー分布からもはるかに離れている。これは、本データベースの高い挑戦性を裏付けている。
• SkeletonGaitは、小型のモデルサイズ、高速な収束、良好な安定性を示しており、遮蔽下での実世界の歩行認識に実用的・実装可能であることを示している。