[論文レビュー] A Survey of Visual Analysis of Human Motion and Its Applications

Qifei Wang|arXiv (Cornell University)|Aug 2, 2016

Human Pose and Action Recognition参考文献 36被引用数 8

ひとこと要約

本サーベイは、モーションキャプチャ、データ表現、処理技術、アクション認識、ダイナミクス測定をカバーする、視覚的ヒューマンモーション分析分野における最近の進展を包括的に概説している。医療、人間-ロボットインタラクション、バーチャルリアリティ、セキュリティ分野における最新の手法と応用を強調するとともに、正確性、意味理解、ダイナミックモデリングの分野における主な課題と今後の研究方向性を特定している。

ABSTRACT

This paper summarizes the recent progress in human motion analysis and its applications. In the beginning, we reviewed the motion capture systems and the representation model of human's motion data. Next, we sketched the advanced human motion data processing technologies, including motion data filtering, temporal alignment, and segmentation. The following parts overview the state-of-the-art approaches of action recognition and dynamics measuring since these two are the most active research areas in human motion analysis. The last part discusses some emerging applications of the human motion analysis in healthcare, human robot interaction, security surveillance, virtual reality and animation. The promising research topics of human motion analysis in the future is also summarized in the last part.

研究の動機と目的

• 視覚的ヒューマンモーション分析分野における最近の進展と、複数の分野への応用を要約すること。
• マーカー付き、マーカーレス、RGBDベースのアプローチを含む、モーションキャプチャシステムとヒューマンモーションデータの表現モデルをレビューすること。
• フィルタリング、時間的整合性、セグメンテーションなどのコアなデータ処理技術を検討し、モーションデータの品質を向上させること。
• 性能評価とモーション予測のための、アクション認識およびヒューマンダイナミクス測定分野における最先端の手法を分析すること。
• 医療、人間-ロボットインタラクション、セキュリティ、バーチャルリアリティ、アニメーション分野における新興応用を検討し、今後の研究方向性を特定すること。

提案手法

• 光学式、マーカー付き、マーカーレスマルチビュー、およびRGBDベース（例：Microsoft Kinect）の方法を含む、モーションキャプチャシステムをサーベイおよび分類すること。
• ルート軌道と関節の自由度（DoFs）の観点から、ヒューマンモーションデータを表現するためのスケルタルジョイントチェーンモデルと弾性モデルをレビューすること。
• フィルタリング、時間的整合性、セグメンテーションを含む、データの一貫性と利用可能性を向上させるためのモーションデータ処理パイプラインを分析すること。
• CNNやスパatiotemporalモデリング技術を含む、ディープラーニングおよび伝統的手法を用いたアクション認識のサーベイ。
• 力センサ、圧力センサ、およびモーションベース推定を用いたダイナミクス測定により、物理的力と相互作用を推定すること。
• より良いモーション再構築とリアルタイム性能を実現するためのモデルベーストラッキングおよび最適化技術（例：一般化ガウスカーネル相関）を評価すること。

実験結果

リサーチクエスチョン

• RQ1 現在の最先端のモーションキャプチャシステムは何か？ それらは正確性、フレームレート、実用性においてどのように比較できるか？
• RQ2 ヒューマンモーションデータは、認識や予測などの下流タスクを支援するために、どのように効果的に表現され処理できるか？
• RQ3 視覚的モーションデータにおけるアクション認識およびヒューマンパフォーマンス分析に最も効果的な技術は何か？
• RQ4 接触力や身体的負荷などのヒューマンダイナミクス（例：接触力、物理的負荷）は、どのように測定され、モーションのリアリズム向上と分析向上に活用できるか？
• RQ5 医療、ロボティクス、インマersiveテクノロジー分野へのヒューマンモーション分析の応用における主な課題と今後の研究方向性は何か？

主な発見

• マーカー付きモーションキャプチャシステムは、0.1 mm未満の正確性と最大960 Hzのサンプリングレートを達成するが、ハードウェア制約と設置要件により制限を受ける。
• Microsoft Kinect v2などのRGBDカメラは、中央視野内では2 mm未満の深度誤差でリアルタイムの全身トラッキングを提供するが、マーカー付きシステムに比べてジターやノイズが発生する。
• スケルタルジョイントチェーンを用いたモデルベースアプローチは、自由度（DoF）数の変動に柔軟かつ適応可能であり、堅牢なモーション表現と分析を可能にする。
• フィルタリング、時間的整合性、セグメンテーションなどのモーションデータ処理技術は、データの一貫性を著しく向上させ、上位レベルの分析を支援する。
• 力や接触推定を含むダイナミクスに配慮したモーション分析は、アニメーションのリアリズム向上に貢献するとともに、人間-ロボットインタラクションやモーショントラッキングのパフォーマンス向上を実現する。
• 遠隔医療や人間-ロボットインタラクション分野における応用は有望であるが、教師なし分析、データ正確性、通信遅延の面で臨床応用に向けた課題が残っている。