[論文レビュー] High-Accuracy Real-Time Whole-Body Human Motion Tracking Based on Constrained Nonlinear Kalman Filtering

Jannik Steinbring, Christian Mandery+3 more|arXiv (Cornell University)|Nov 13, 2015

Human Pose and Action Recognition参考文献 16被引用数 3

ひとこと要約

本稿では、制約付き非線形カルマンフィルタを用いたリアルタイムで高精度な全身人体運動追跡システムを提案する。関節制限を非制約的周期関数に変換し、スマートサンプリングカルマンフィルタ（S²KF）を適用することで、部分的なマーカー遮蔽があってもロバストに追跡可能となり、勾配ベースの手法を上回り、標準ハードウェア上でも8ms未満の実行時間で動作し、平均で最大16個のマーカーが欠落する状況でも対応可能である。

ABSTRACT

We present a new online approach to track human whole-body motion from motion capture data, i.e., positions of labeled markers attached to the human body. Tracking in noisy data can be effectively performed with the aid of well-established recursive state estimation techniques. This allows us to systematically take noise of the marker measurements into account. However, as joint limits imposed by the human body have to be satisfied during estimation, first we transform this constrained estimation problem into an unconstrained one by using periodic functions. Then, we apply the Smart Sampling Kalman Filter to solve this unconstrained estimation problem. The proposed recursive state estimation approach makes the human motion tracking very robust to partial occlusion of markers and avoids any special treatment or reconstruction of the missed markers. A concrete implementation built on the kinematic human reference model of the Master Motor Map framework and a Vicon motion capture system is evaluated. Different captured motions show that our implementation can accurately estimate whole-body human motion in real-time and outperforms existing gradient-based approaches. In addition, we demonstrate its ability to smoothly handle incomplete marker data.

研究の動機と目的

• ノイズの多いラベル付きマーカー情報から、リアルタイムで高精度な全身人体運動追跡を可能にすること。
• 再帰的状態推定において人間の関節制限を厳密に満たす課題に対処すること。
• マーカーが部分的に遮蔽されたり欠落しても、依然としてロバストで正確な追跡が行える手法の開発。
• 特別な初期化（例：Tポーズ）やマーカー再構築を不要とする。
• Viconシステムとマスターモーターマップフレームワークを用いて、ハンドスタンドのような複雑な運動においてもリアルタイム性能と高精度を実証すること。

提案手法

• 人間の関節制限によって課せられる制約付き推定問題を、関節角度を周期関数で表現することで非制約的問題に変換する。
• ノイズの多いマーカー測定値から全人体ポーズを再帰的に推定するために、スマートサンプリングカルマンフィルタ（S²KF）を適用する。
• マスターモーターマップ（MMM）フレームワークの運動学的基準モデルを用いて、人体の構造と運動学的特性を定義する。
• マーカー位置の事前知識と運動学的制約を状態推定プロセスに組み込むことで、推定精度を向上させる。
• カルマンフィルタの再帰的性質を活用し、一部のマーカーが欠落してもマーカー再構築を必要とせず、状態推定を維持する。
• 標準CPU上でリアルタイム処理が可能なViconモーションキャプチャシステムを用いて評価し、遅延を8ms未満に保証する。

実験結果

リサーチクエスチョン

• RQ1 制約付き非線形カルマンフィルタを用いることで、解剖学的関節制限を尊重しつつ、リアルタイムで全身人体運動を追跡できるか？
• RQ2 マーカーが部分的に遮蔽されたり欠落した場合、提案手法の精度とロバスト性はどのように評価できるか？
• RQ3 関節角度を周期関数で表現することで、カルマンフィルタフレームワーク内で正確かつ非制約的推定が可能になるか？
• RQ4 提案手法のS²KFベースのアプローチは、従来の勾配ベース最適化手法と比較して、精度と計算効率の面でどのように優れているか？
• RQ5 マーカー欠落率が50％に達するような不完全なマーカー情報でも、同手法がどれほど高い追跡精度を維持できるか？

主な発見

• Intel Core i7-3770 CPU上での推定実行時間は8ms未満であり、100Hzでリアルタイムな全身運動追跡が可能である。
• 全評価運動において、測定値と推定位置の平均マーカー距離は5cm未満であり、マーカー遮蔽シミュレーション時でも最大9cmにとどまる。
• 1フレームあたり平均16個（全50個中32％）のマーカーが欠落しても、高い精度を維持でき、マーカー距離の増加はわずかである。
• 従来の勾配ベース手法を上回り、特にハンドスタンドのような複雑な運動では、後者では平均マーカー距離が60cmを超えることが確認された。
• マーカー再構築や特別な初期化を必要とせず、部分的遮蔽に対しても滑らかで正確なポーズ推定を実現した。
• 図6の可視化結果から、一部のフレームで25個以上のマーカーが隠されても、推定ポーズが真値と極めて類似していることが示された。