[論文レビュー] Analysis and Evaluation of Kinect-based Action Recognition Algorithms

Lei Wang|arXiv (Cornell University)|Dec 16, 2021

Human Pose and Action Recognition被引用数 8

ひとこと要約

この論文は、5つのベンチマークデータセットを用いて、深度とスケルトン特徴を組み合わせたHDGバージョンを含む、Kinectベースの行動認識アルゴリズムの評価と改善を実施している。提案されたHDGバージョンは、深度とスケルトン特徴を統合しており、マルチビュー環境下で最高のクロスビュー認識精度（61.9%）を達成し、HON4D、HOPC、RBDを上回っている。

ABSTRACT

Human action recognition still exists many challenging problems such as different viewpoints, occlusion, lighting conditions, human body size and the speed of action execution, although it has been widely used in different areas. To tackle these challenges, the Kinect depth sensor has been developed to record real time depth sequences, which are insensitive to the color of human clothes and illumination conditions. Many methods on recognizing human action have been reported in the literature such as HON4D, HOPC, RBD and HDG, which use the 4D surface normals, pointclouds, skeleton-based model and depth gradients respectively to capture discriminative information from depth videos or skeleton data. In this research project, the performance of four aforementioned algorithms will be analyzed and evaluated using five benchmark datasets, which cover challenging issues such as noise, change of viewpoints, background clutters and occlusions. We also implemented and improved the HDG algorithm, and applied it in cross-view action recognition using the UWA3D Multiview Activity dataset. Moreover, we used different combinations of individual feature vectors in HDG for performance evaluation. The experimental results show that our improvement of HDG outperforms other three state-of-the-art algorithms for cross-view action recognition.

研究の動機と目的

• 4つの最先端のKinectベースの行動認識アルゴリズム（HON4D、HDG、HOPC、RBD）の性能を評価および比較すること。
• 深さとスケルトン特徴を統合することで、HDGアルゴリズムを実装および改善し、より高い耐性を発揮させること。
• 視点の変化、遮蔽、行動速度の違いといった困難な条件下でのクロスビュー行動認識性能を評価すること。
• HDGにおける異なる特徴組み合わせの認識精度向上に与える寄与を分析すること。
• マルチビュー設定における、より効果的な特徴表現を特定すること。

提案手法

• 判別力の向上を目的として、深さ勾配（HOD）と関節位置および速度特徴（JPDおよびJMV）を組み合わせたHDGアルゴリズムを実装および強化した。
• ノイズ、視点の変化、遮蔽をカバーする5つのベンチマークデータセット（MSRAction3D、3D Action Pairs、CAD-60、UWA3D Single View、UWA3D Multiview Activity）を用いた。
• 一般化性能を評価するため、異なる視点の組み合わせ（例：訓練に視点3と4、テストに視点1を使用）を用いたクロスビュー学習およびテスト戦略を適用した。
• 認識精度を最大化するために、HDGのハイパーパrameterを体系的な評価を通じて最適化した。
• ヒストグラムベースの記述子を用いた：HON4D（4次元の表面法線）、HOPC（点群の方向付き主成分）、RBD（回転に基づくスケルトン表現）、HDG（関節特徴を併用した深さ勾配のヒストグラム）。
• 標準的な評価指標を用いた：クロスビュー行動認識における、複数の視点の組み合わせにおける平均認識精度。

実験結果

リサーチクエスチョン

• RQ1 HON4D、HDG、HOPC、RBDは、視点の変化や遮蔽といった困難な条件下で、標準ベンチマークデータセットにおいてどのように性能を発揮するか？
• RQ2 HDGにスケルトン特徴（JPD、JMV）を深さ勾配と統合することで、クロスビュー行動認識精度が著しく向上するか？
• RQ3 HDGにおけるどの特徴組み合わせが、異なる視点設定において最高の認識性能を達成するか？
• RQ4 HOPCは深さ特徴のみを用いているにもかかわらず、なぜノイズや行動速度の変化に対して優れた耐性を示すのか？
• RQ5 特定の視点の組み合わせ（例：視点3と4）で学習することと他の組み合わせで学習することの、クロスビュー認識精度に与える影響は何か？

主な発見

• すべての特徴を統合した改良版HDG（HDG-all）は、UWA3D Multiview Activityデータセットで最高のクロスビュー認識精度61.9%を達成した。
• HDGにおけるスケルトンベースの特徴（JPDおよびJMV）は、深さ特徴のみに比べてより判別力のある情報を提供し、視点の変化に対する耐性を顕著に向上させた。
• HOPCはノイズ、体サイズの変化、行動速度の違いに対して優れた耐性を示し、単一視点認識で71.5%の精度を達成した。
• RBD-FTPは最高の単一視点認識精度（77.9%）を記録し、クロスビュー認識でも強力な性能（56.0%）を維持したが、計算コストが高かった。
• 視点3と4で学習し、視点1でテストした場合、他の組み合わせよりも高い認識精度が得られた。これは、視点の対応関係が良く、一般化性能に優れている可能性を示唆している。
• 混同行列の分析から、一方向の手を振る動作と両手を振る動作、くしゃみとせきといった、動きの軌道が類似した行動は、視覚的および運動的類似性のため頻繁に誤分類されていた。