[論文レビュー] DiffusionPoser: Real-time Human Motion Reconstruction From Arbitrary Sparse Sensors Using Autoregressive Diffusion

Tom Van Wouwe, Seung‐Hwan Lee+3 more|arXiv (Cornell University)|Aug 31, 2023

Balance, Gait, and Falls Prevention被引用数 5

ひとこと要約

本稿では、再トレーニングを必要とせず、任意のスパarsなIMU配置から全身の動きを再構築できるリアルタイムで単一の拡散生成モデルであるDiffusion Inertial Poser（DiffIP）を提案する。自己回帰的ノイズ除去と生理学的に妥当なOpenSimベースの動き表現を活用することで、6つのIMUを使用する設定において最先端の精度を達成し、3つのIMUですら人間らしい動きの質を維持する。これにより、健康およびパフォーマンスモニタリングにおける柔軟で応用に特化したセンサ配置が可能になる。

ABSTRACT

Motion capture from a limited number of body-worn sensors, such as inertial measurement units (IMUs) and pressure insoles, has important applications in health, human performance, and entertainment. Recent work has focused on accurately reconstructing whole-body motion from a specific sensor configuration using six IMUs. While a common goal across applications is to use the minimal number of sensors to achieve required accuracy, the optimal arrangement of the sensors might differ from application to application. We propose a single diffusion model, DiffusionPoser, which reconstructs human motion in real-time from an arbitrary combination of sensors, including IMUs placed at specified locations, and, pressure insoles. Unlike existing methods, our model grants users the flexibility to determine the number and arrangement of sensors tailored to the specific activity of interest, without the need for retraining. A novel autoregressive inferencing scheme ensures real-time motion reconstruction that closely aligns with measured sensor signals. The generative nature of DiffusionPoser ensures realistic behavior, even for degrees-of-freedom not directly measured. Qualitative results can be found on our website: https://diffusionposer.github.io/.

研究の動機と目的

• 再トレーニングを必要とせず、任意のスパarsなIMU配置を用いてリアルタイムで人間の運動を再構築する柔軟なシステムの開発。
• センサデータがスパarsまたはノイズが多い状況下でも、装備されていない身体部位の再構築における頑健性と精度の向上。
• 健康、リハビリテーション、パフォーマンスモニタリングへの実用的導入を可能とするため、特定の応用ニーズに合わせた多様なIMU配置をサポートすること。
• 筋骨格系モデル（OpenSim）を統合し、筋力や関節運動学的データといった生物学的に意味のある出力を得ること。
• マーカーに基づく動きキャプチャから合成された大規模でOpenSim互換のデータセットを構築・公開し、学習および評価に用いること。

提案手法

• 条件付き自己回帰的拡散モデルを訓練し、IMUが測定する全般的なセグメントの姿勢と線形加速度から全身の動きの系列を生成する。
• ノイズスケジュールとノイズ除去U-Netアーキテクチャを用い、過去のフレームとIMU測定値に条件付けられた繰り返しの精度向上により、動きの予測を段階的に改善する。
• IMUの配置は、装備された身体部位を特定する学習可能なマスクによって符号化され、任意の設定に一般化可能になる。
• 学習データは、3つの既存のマーカーに基づく動きキャプチャデータセットをAddBiomechanicsを用いて合成し、OpenSim互換の運動学的表現にマッピングした。
• センサ通信、フィルタリング、推論を含め、合計で約110msの遅延で20Hzでリアルタイムに動きを再構築する。
• 多様な設定において、関節角度誤差（MJOE）、位置誤差（MJPE）、およびルート移動誤差（RTE）を最小化するようにモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングを伴わず、任意のIMU配置に一般化できる単一の拡散モデルは、高い再構築精度を維持できるか？
• RQ2 センサのスパarsityが生じた状況下で、回帰ベースのベースラインと比較して、拡散モデルの頑健性と精度はどのように異なるか？
• RQ3 異なる動きタイプとセンサ数を想定した場合、どのIMU配置が関節角度誤差と全般的な移動誤差を最小化するか？
• RQ4 センサデータがスパarsな状況下でも、生成モデルが装備されていない四肢に対して妥当な動きを生成できる程度はどの程度か？
• RQ5 バイオフィードバックやVRのような低遅延フィードバックを要する応用分野において、モデルは実際にリアルタイムで効果的に運用可能か？

主な発見

• 標準的な6つのIMU設定において、DiffIPは最先端の性能を達成し、平均関節姿勢誤差（MJOE）が14.7°、平均関節位置誤差（MJPE）が7.5 cmであった。
• 4つのIMU設定では、太ももと前腕にセンサを配置した場合が最も低い関節誤差（MJOE: 14.7°）を示したが、足にセンサを配置することでルートドリフトが軽減された（RTE10s: 0.34m vs. 0.36m）。
• 3つのIMUのみでも、DiffIPは人間らしい動きの質を維持したが、関節誤差は22.8°（MJOE）に上昇し、RTE10sは1.0mに達した。これは生成モデルの頑健性を示している。
• 条件付き変換器ベースライン（c-trans）と比較して、DiffIPは全設定で優れた頑健性と低い誤差を示し、平均でMJOEが25%低い結果となった。
• システムは20Hzで動作し、合計遅延が約110msであるため、フィードバック駆動型の応用分野におけるリアルタイム利用が可能である。
• 再トレーニングなしに設定間で一般化可能であり、実用的制約や応用目標に応じて最適なIMU配置を選択できる。