[論文レビュー] MotioNet: 3D Human Motion Reconstruction from Monocular Video with Skeleton Consistency

Mingyi Shi, Kfir Aberman+5 more|arXiv (Cornell University)|Jun 22, 2020

Human Pose and Action Recognition参考文献 41被引用数 16

ひとこと要約

MotioNet は、逆運動学の後処理を不要にすることで、一貫性のある3次元スケルトンと時間的に整合性のある関節回転を直接予測する深層学習フレームワークである。前方運動学と adversarial 学習を統合することで、遮蔽や奥行きのあいまいさがあっても、頑健で自然な運動再構成を実現する。

ABSTRACT

We introduce MotioNet, a deep neural network that directly reconstructs the motion of a 3D human skeleton from monocular video.While previous methods rely on either rigging or inverse kinematics (IK) to associate a consistent skeleton with temporally coherent joint rotations, our method is the first data-driven approach that directly outputs a kinematic skeleton, which is a complete, commonly used, motion representation. At the crux of our approach lies a deep neural network with embedded kinematic priors, which decomposes sequences of 2D joint positions into two separate attributes: a single, symmetric, skeleton, encoded by bone lengths, and a sequence of 3D joint rotations associated with global root positions and foot contact labels. These attributes are fed into an integrated forward kinematics (FK) layer that outputs 3D positions, which are compared to a ground truth. In addition, an adversarial loss is applied to the velocities of the recovered rotations, to ensure that they lie on the manifold of natural joint rotations. The key advantage of our approach is that it learns to infer natural joint rotations directly from the training data, rather than assuming an underlying model, or inferring them from joint positions using a data-agnostic IK solver. We show that enforcing a single consistent skeleton along with temporally coherent joint rotations constrains the solution space, leading to a more robust handling of self-occlusions and depth ambiguities.

研究の動機と目的

• 関節位置のみを回復する 3 次元ポーズ推定手法の限界、すなわちスケルトンの一貫性やリギング互換性の欠如を解消すること。
• データ駆動的でエンドツーエンドの運動表現を学習することで、逆運動学（IK）ソルバのあいまいさと不安定性を克服すること。
• 運動シーケンス全体で固定された骨長さを持つ単一で対称的なスケルトンを強制することで、時間的整合性と幾何的不変性を確保すること。
• 学習された事前知識とノイズを含む訓練を用いることで、自己遮蔽や奥行きのあいまいさに対する頑健性を向上させること。
• グローバルルート位置、関節回転、および足接触ラベルを含む、完全でアニメーション用に準備された運動表現を出力すること。

提案手法

• ネットワークは 2 次元関節位置を、1 つの対称的スケルトン（骨長さによって符号化）と、グローバルルート位置および足接触ラベルを伴う 3 次元関節回転のシーケンスに分解する。
• 統合された前方運動学（FK）レイヤーは、スケルトン階層に従って予測された回転を適用し、3 次元関節位置を再構成する。その結果を真値と比較する。
• 骨長さ、ルート位置、足接触ラベル、3 次元関節位置の監督を組み合わせたマルチタスク損失により、幾何的および動的整合性を確保する。
• 予測された関節回転の速度に adversarial 損失を適用し、自然な人体運動の多様体に近づくようにする。
• 足スケーティングアーティファクトを低減するために、接触フェーズ中に足の速度をゼロに強制するための足接触損失を導入する。
• 訓練データにランダムなノイズと信頼度マスクを追加することで、現実世界の動画品質を模倣し、遮蔽やキーポイント推定誤差に対する頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、逆運動学に依存せずに、モノクロナル動画から一貫性のある 3 次元スケルトンと時間的に整合性のある関節回転を直接学習できるか？
• RQ2 固定された単一スケルトンを強制することで、モノクロナル運動再構成における奥行きのあいまいさや自己遮蔽に対する頑健性がどのように向上するか？
• RQ3 関節回転速度の adversarial 訓練が、再構成された人体運動の自然さと現実性をどの程度向上させるか？
• RQ4 足接触予測の正確さを活用することで、足の位置に明示的な監視がなくても、足関節の回復における位置誤差を低減できるか？
• RQ5 エンドツーエンドのデータ駆動的アプローチは、従来の IK に基づく手法やポーズのみの再構成手法と比較して、運動品質およびリギング互換性の面でどの程度優れているか？

主な発見

• MotioNet は、運動学的に一貫性のあるスケルトンと関節回転を直接予測することで、モノクロナル動画からの 3 次元人体運動再構成において最先端のパフォーマンスを達成した。
• ネットワークが足接触ラベルを予測する能力と、足の位置誤差の低減が強く相関しており、接触予測が位置精度を向上させることを示している。
• 回転速度の adversarial 損失により、予測された回転が実際の人間運動の多様体に近づき、より自然で時間的に整合性のある運動が得られた。
• 信頼度マスクを用いたノイズを含む訓練により、遮蔽やノイズの多い 2 次元キーポイント入力に対する頑健性が向上し、現実世界の動画条件を模倣した。
• 固定されたスケルトンと関節回転をエンドツーエンドで学習することで、従来の IK ソルバの不安定さとあいまいさを回避し、より一貫性があり現実的な運動シーケンスが得られた。
• 出力される運動表現は、追加処理が不要なため、標準のアニメーションパイプラインと完全に互換性がある。これは、リギング可能でスキン可能な 3 次元キャラクタの運動を直接提供する。