[論文レビュー] 4D Human Body Capture from Egocentric Video via 3D Scene Grounding

Miao Liu, Dexin Yang+4 more|arXiv (Cornell University)|Nov 26, 2020

Human Pose and Action Recognition参考文献 64被引用数 8

ひとこと要約

本稿では、構造からモーション（SfM）による3Dシーンコンテキストと2Dポーズ観測を活用することで、単眼自己視点動画から4次元の第2者視点人体メッシュを最適化ベースで再構築する手法を提案する。3D人体モデルとシーンモデルのスケールの曖昧さを解消し、部分的遮蔽下でも正確で時間的に一貫性があり物理的に妥当な人体-シーン相互作用を実現する。EgoMoCapという新規データセットにおいて、ポーズ精度と相互作用の現実性の両面で最先端手法を上回る性能を発揮する。

ABSTRACT

We introduce a novel task of reconstructing a time series of second-person 3D human body meshes from monocular egocentric videos. The unique viewpoint and rapid embodied camera motion of egocentric videos raise additional technical barriers for human body capture. To address those challenges, we propose a simple yet effective optimization-based approach that leverages 2D observations of the entire video sequence and human-scene interaction constraint to estimate second-person human poses, shapes, and global motion that are grounded on the 3D environment captured from the egocentric view. We conduct detailed ablation studies to validate our design choice. Moreover, we compare our method with the previous state-of-the-art method on human motion capture from monocular video, and show that our method estimates more accurate human-body poses and shapes under the challenging egocentric setting. In addition, we demonstrate that our approach produces more realistic human-scene interaction.

研究の動機と目的

• 単眼自己視点動画からの4次元第2者視点人体メッシュ再構築の課題に取り組むこと。特に、カメラの運動と部分的可視性の制限により、従来手法が困難となる状況を想定する。
• SfMから得られる2Dポーズ観測と3Dシーンコンテキストを統合することで、時間的に一貫性がありシーンに位置付けられた3次元人体再構築を実現すること。
• 単眼自己視点設定における3次元人体とシーン再構築の間のスケールの曖昧さを解消すること。これは、従来の手法が解決できなかった課題である。
• 特に部分的遮蔽下において、人体ポーズと形状推定の精度と現実性を向上させること。
• EgoMoCapデータセットを導入する。これは、多様な人間関係的距離と2次元キーポイントアノテーションを備えた、構造化された自己視点動画ベンチマークであり、第2者視点モーションキャプチャに適している。

提案手法

• 本手法は、全動画シーケンスにおける2次元キーポイント観測と、SfMによって再構築された3次元シーンジオメトリを統合する時間的関数の共同最適化を定式化する。
• 再構築された3次元人体と3次元シーンとの間の物理的に妥当な接触を保証するために、人体-シーン接触制約を課す。
• 単眼SfMに内在するスケールの曖昧さを克服するため、3次元人体モデルとSfM再構築シーンの相対的スケールを同時に推定する。
• 特に体部が断続的に可視になる状況でも、グローバルな運動推定を安定化させるために、時間的事前分布（ゼロ加速度）を組み込む。
• 本手法はSMPL-Xを3次元人体モデルとして採用し、微分可能なレンダリングとプロジェクション損失を用いて、ポーズ、形状、グローバルモーションパラメータを最適化する。
• フレーム単位の推定に失敗するのを避けるために、全動画シーケンスを活用することで、耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 単眼SfMから得られる3次元シーンコンテキストは、部分的可視性がある自己視点動画における4次元第2者視点人体再構築を改善できるか？
• RQ2 単眼自己視点設定において、3次元人体とシーン再構築の間のスケールの曖昧さはどのように解消できるか？
• RQ3 2次元観測と3次元シーンジオメトリを用いた時間的関数の共同最適化は、フレーム単位の手法よりも時間的に一貫性があり現実的な人体運動を実現できるか？
• RQ4 VIBEなどの最先端手法と比較して、本手法は困難な自己視点条件下において、ポーズ精度と人体-シーン相互作用の現実性の両面で優れているか？
• RQ5 第2者視点が部分的にしか観測されない状況において、3次元シーンの位置決めを用いることで、グローバルな運動推定はどの程度向上するか？

主な発見

• EgoMoCapデータセットにおいて、本手法は66.03のPJE-Pスコアを達成し、VIBE（75.91）を大きく上回り、部分的観測下でも優れた性能を示した。
• 本手法は運動の滑らかさ誤差を1.85にまで低減したのに対し、VIBEは4.79であった。これは、より一貫性があり現実的なグローバル運動推定を実現していることを示している。
• ユーザースタディの結果、本手法は82.8%の支持を得ており、ベースライン手法と比較して人体-シーン相互作用の現実性が向上していることが確認された。
• 本手法は3次元人体とシーン間の相対的スケールを正常に解消し、SMPLify-Xベースラインで観察されたスケール不一致を解消した。
• アブレーションスタディにより、3次元シーンコンテキストと時間的最適化の有効性が確認され、特に部分的可視性の状況下での有効性が顕著に現れた。
• VIBEと比較して、本手法は人体-シーン相互作用をより現実的に再現した。VIBEは接触をモデル化できず、自己視点カメラの運動に起因する一貫性のない運動を生じさせた。