[論文レビュー] Fusing Wearable IMUs with Multi-View Images for Human Pose Estimation: A Geometric Approach

Zhe Zhang, Chunyu Wang+2 more|arXiv (Cornell University)|Mar 25, 2020

Human Pose and Action Recognition参考文献 34被引用数 10

ひとこと要約

本稿では、ウェアラブルIMUを活用してマルチビュー2次元ポーズ推定を向上させ、3次元人体ポーズ回復を改善する幾何的融合手法を提案する。2次元特徴をIMUの向きを使って精緻化するためのオントロジー正則化ネットワーク（ORN）と、IMUデータを用いて3次元一貫性を強制するオントロジー正則化ペイントストラクチャーモデル（ORPSM）を導入することで、Total Captureデータセット上で3次元ポーズ誤差を24.6 mmまで低減し、先行する最先端手法を著しく上回る性能を達成した。

ABSTRACT

We propose to estimate 3D human pose from multi-view images and a few IMUs attached at person's limbs. It operates by firstly detecting 2D poses from the two signals, and then lifting them to the 3D space. We present a geometric approach to reinforce the visual features of each pair of joints based on the IMUs. This notably improves 2D pose estimation accuracy especially when one joint is occluded. We call this approach Orientation Regularized Network (ORN). Then we lift the multi-view 2D poses to the 3D space by an Orientation Regularized Pictorial Structure Model (ORPSM) which jointly minimizes the projection error between the 3D and 2D poses, along with the discrepancy between the 3D pose and IMU orientations. The simple two-step approach reduces the error of the state-of-the-art by a large margin on a public dataset. Our code will be released at https://github.com/CHUNYUWANG/imu-human-pose-pytorch.

研究の動機と目的

• 単眼およびマルチビュー3次元人体ポーズ推定における遮蔽の課題に対処すること。
• 特に手首や足首の関節が遮蔽されている状況においても、マルチビュー設定下での2次元ポーズ推定の精度を向上させること。
• 視覚特徴学習をガイドするために、パイプラインの初期段階でインertial測定（IMU）を統合すること。
• 画像の投影とIMUの向きの両方に3次元ポーズの一貫性を最適化する幾何的統合フレームワークを開発すること。
• 本手法の一般化能力を、実際のIMUが存在しないデータセットに対して仮想的な向きを合成することで検証すること。

提案手法

• IMUの向きを構造的プリオンとして用い、マルチビュー2次元ポーズ推定における関節間特徴統合を強化するオントロジー正則化ネットワーク（ORN）を提案する。
• IMUの向きデータを用いて3次元空間における相対的関節位置の一貫性を強制する幾何的制約を導入し、2次元キーポイントの局所化精度を向上させる。
• 方向プリオンを統合したペイントストラクチャーモデル（PSM）を拡張し、3次元ポーズとIMU測定値との間の投影誤差と方向差異を同時に最小化するORPSMを提案する。
• 2段階パイプラインを採用：まずORNで2次元ヒートマップを精緻化し、次に幾何的制約を適用したORPSMを用いて3次元にリフトする。
• 予測された3次元肢の向きと測定されたIMUの向きとの間の角度偏差を最小化するように、2次元投影誤差と角度ずれを同時に最適化するジョイント最適化を実装する。
• 実IMUを搭載したTotal Captureと、合成されたIMU向きを用いるH36Mの両データセットで手法を検証し、ロバスト性と一般化能力を示した。

実験結果

リサーチクエスチョン

• RQ1 IMUデータを用いることで、遮蔽状況下のマルチビュー設定における2次元ポーズ推定の精度を向上させることができるか？
• RQ2 インertial測定を視覚特徴の初期段階で効果的に統合することで、3次元ポーズ推定の性能を向上させられるか？
• RQ3 3次元ポーズ回復に方向プリオンを組み込むことで、不正確な2次元検出に起因する誤差を低減できるか？
• RQ4 仮想的な向きを合成することで、実IMUが存在しないデータセットに対しても本手法が一般化可能か？
• RQ5 IMUプリオンを介した2次元と3次元の統合は、独立した画像およびIMU予測の後段統合（ラテント統合）よりも効果的か？

主な発見

• ORNモジュールは、IMUに基づく構造的プリオンを活用することで、肘や手首などの関節において最大10 mmの3次元ポーズ誤差低減を達成し、遮蔽状況下でも顕著な改善を示した。
• ORPSMモデルはTotal Captureデータセットで3次元位置誤差24.6 mmを達成し、先行SOTA（29 mm）を著しく上回った。
• IMUプリオンを通じた2次元と3次元特徴の統合は相補的である：ORNとORPSMを併用することで誤差は30.2 mmにまで低下し、相乗効果が確認された。
• 合成されたIMU向きを用いるH36Mデータセットでも、本手法はベースライン性能を一貫して向上させ、特に足首などの遮蔽関節において顕著な改善を示した。
• Total CaptureにおいてIMUPVHおよびLSTM-AEを上回る性能を発揮した。これは、IMUガイドド特徴学習による視覚・インertialの初期段階統合が、独立した予測の後段統合よりも効果的であることを示した。
• 周期的動作（例：歩行）に対しても優れた性能を発揮したが、再帰的モデルのインダクティブバイアスの影響により、わずかな性能差が残っている。