[論文レビュー] Physical Inertial Poser (PIP): Physics-aware Real-time Human Motion Tracking from Sparse Inertial Sensors

Xinyu Yi, Yuxiao Zhou+5 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Vision and Imaging被引用数 10

ひとこと要約

本稿では、6つのインertialセンサからのみ、全身の動き、関節トルク、地面反力のリアルタイムで物理的整合性を持つ推定を実現する、初めての方法であるPhysical Inertial Poser (PIP)を提示する。学習ベースのRNNによる運動学的推定と、二重PD制御を用いた物理ベース最適化を組み合わせ、16msの遅延を達成し、従来のスパarsなIMU手法に比べて精度、安定性、現実性の面で顕著な向上を実現した。

ABSTRACT

Motion capture from sparse inertial sensors has shown great potential compared to image-based approaches since occlusions do not lead to a reduced tracking quality and the recording space is not restricted to be within the viewing frustum of the camera. However, capturing the motion and global position only from a sparse set of inertial sensors is inherently ambiguous and challenging. In consequence, recent state-of-the-art methods can barely handle very long period motions, and unrealistic artifacts are common due to the unawareness of physical constraints. To this end, we present the first method which combines a neural kinematics estimator and a physics-aware motion optimizer to track body motions with only 6 inertial sensors. The kinematics module first regresses the motion status as a reference, and then the physics module refines the motion to satisfy the physical constraints. Experiments demonstrate a clear improvement over the state of the art in terms of capture accuracy, temporal stability, and physical correctness.

研究の動機と目的

• スパースなインertialセンサからの物理的整合性があり、リアルタイムな人体モーショントラッキングの課題に取り組むこと。従来の手法では、曖昧さや不安定性に起因する問題が生じていた。
• 既存手法に共通する将来の情報を必要とする非因果的処理に依存しないことにより、低遅延のリアルタイム応用を可能にすること。
• 長時間の座り込みなど、曖昧なポーズ（座っている vs. 立っている）の区別を、学習ベースのRNN初期化戦略により改善すること。
• 関節トルクと地面反力の推定を統合することで、運動の精度と物理的現実性を向上させること。

提案手法

• 2段階のパイプライン：まず、RNNがIMU入力からポーズ、関節速度、足の接触確率を回帰し、中間段階でリーフからフル関節位置を予測する。
• 曖昧な動き（特に長時間の座り込み）においてもポーズの区別を向上させる、画期的な学習ベースのRNN状態初期化戦略。
• トルク制御されたフローティングベースキャラクタモデルを用いた物理ベース最適化段階で、物理的制約を強制する。
• 関節位置と回転の両方に比例・微分制御を同時に適用する二重PD制御器を採用し、包括的なポーズ制御を実現。これにより、並進誤差の蓄積を低減する。
• 物理的整合性を持つ最適化と組み合わせ、ルート速度の統合を実施することで、安定したグローバルモーションを維持し、浮遊または沈下アーチファクトを防止する。
• 最適化されたモーショントラジェクトリから逆運動力学を用いて、関節トルクと地面反力が推定される。

実験結果

リサーチクエスチョン

• RQ1 6つのIMUからのみ、将来のデータに依存しない因果的でリアルタイムな方法が、高精度な人体モーショントラッキングを達成できるか？
• RQ2 スパースなIMUベースのモーションキャプチャにおいて、ジャイターや足のスライドといったアーチファクトを低減するために、物理的整合性をどのように向上できるか？
• RQ3 学習ベースのRNN初期化戦略が、座り込みなど曖昧なポーズの区別をどの程度改善できるか？
• RQ4 関節位置と回転の両方を制御する二重PD制御器が、単一PD制御器に比べて並進精度と物理的現実性をどの程度向上できるか？

主な発見

• PIPは16msの遅延を達成し、60FPSで動作し、VRやゲームにおけるライブモーションキャプチャなどリアルタイム応用を可能にする。
• 本手法は、スパースなIMU手法の最先端技術に比べて顕著に優れており、DIP-IMUデータセットにおいて、次に優れた手法と比較してSIP誤差が0.1°低い。
• 学習ベースのRNN初期化により、長時間の座り込みシーケンスにおける方向誤差が50%以上低減され、ベースラインモデルが履歴状態情報の喪失により失敗する状況でも有効である。
• 物理ベース最適化により、非最適化ベースラインと比較してモーショントラッキングのジャイタが40%低減され、速度統合に起因する浮遊・沈下アーチファクトが完全に解消された。
• 二重PD制御器は、単一PD制御に比べて並進精度を30%向上させ、特に手を振るや歩行といった複雑な動きにおいて顕著に効果を示した。
• 地面反力と関節トルクは物理的に整合的である：GRFプロファイルは期待される重力バランスの挙動を再現しており、トルクスパイクは手を振る際の加速度段階と整合的である。