[論文レビュー] DoubleFusion: Real-time Capture of Human Performances with Inner Body Shapes from a Single Depth Sensor

Tao Yu, Zerong Zheng+6 more|arXiv (Cornell University)|Apr 17, 2018

Advanced Vision and Imaging被引用数 28

ひとこと要約

DoubleFusionは、1台の深度センサーを用いたリアルタイムな人間のパフォーマンスキャプチャシステムを提示する。この手法は、二重層構造を用いて、同時に詳細な外側の表面幾何と妥当な内側のボディーシェイプを再構築する。融合されたTSDFボリューム内でのパrametricなSMPLボディーモデルを用いたポーズと変形の共同最適化により、高速な動きにおいても、精度と完全性に優れたロバストなトラッキングと改善されたループクロージャを達成する。従来の手法を上回る性能を発揮する。

ABSTRACT

We propose DoubleFusion, a new real-time system that combines volumetric dynamic reconstruction with data-driven template fitting to simultaneously reconstruct detailed geometry, non-rigid motion and the inner human body shape from a single depth camera. One of the key contributions of this method is a double layer representation consisting of a complete parametric body shape inside, and a gradually fused outer surface layer. A pre-defined node graph on the body surface parameterizes the non-rigid deformations near the body, and a free-form dynamically changing graph parameterizes the outer surface layer far from the body, which allows more general reconstruction. We further propose a joint motion tracking method based on the double layer representation to enable robust and fast motion tracking performance. Moreover, the inner body shape is optimized online and forced to fit inside the outer surface layer. Overall, our method enables increasingly denoised, detailed and complete surface reconstructions, fast motion tracking performance and plausible inner body shape reconstruction in real-time. In particular, experiments show improved fast motion tracking and loop closure performance on more challenging scenarios.

研究の動機と目的

• 1台の深度カメラを用いたリアルタイムな、外側の衣類幾何と内側のボディーシェイプの両方の再構築を可能にすること。
• 高速な動きや不完全な表面観測に対処できない従来の単一視野システムの限界を克服すること。
• ボディーシェイプと変形表面の事前知識を活用することで、運動トラッキングのロバスト性とループクロージャを向上させること。
• 事前スキャンされたテンプレートや複雑なマルチカメラセットアップの必要性を排除すること。

提案手法

• 二重層表面表現を導入：内側にパラメトリックなSMPLボディーモデル、外側に動的かつ統合されたTSDF表面層を設ける。
• ボディに近い部分と遠く離れた部分の非剛性変形をそれぞれ表すために、オンボディおよびファーオンボディのノードを有する二重ノードグラフを採用する。
• 内側ボディと外側表面の両方の対応点を用いて、ポーズと変形を共同で最適化することで、運動トラッキングを実行する。
• 明示的な対応探索を経由せずに、TSDFボリューム内でのSMPL形状とポーズパラメータの直接最適化により、効率性と正確性を向上させる。
• ボリューム形状-ポーズ最適化を用いて、内側ボディーモデルをオンラインで精緻化し、外側表面に常に内側に収まるように保証する。
• 再構築中に内側ボディーシェイプが外側表面に内接するように制約を課すことにより、幾何的一致性を確保する。

実験結果

リサーチクエスチョン

• RQ1 1台の深度カメラで、詳細な外側の衣類幾何と妥当な内側のボディーシェイプの両方をリアルタイムに再構築可能か？
• RQ2 ボディーシェイプとポーズの事前知識を、動的表面再構築と効果的に統合することで、トラッキングのロバスト性を向上させられるか？
• RQ3 内側ボディーシェイプと外側表面変形の共同最適化により、高速運動シナリオにおけるループクロージャとパフォーマンスが向上するか？
• RQ4 事前スキャンされたテンプレートやマルチビュー情報がなくても、正確でオンラインでの形状-ポーズ最適化が可能か？

主な発見

• DoubleFusionは、BodyFusionと比較して1フレームあたりのトラッキング誤差を19.5％低減し、平均誤差は0.0221m（BodyFusionは0.0277m）を達成した。
• 最大トラッキング誤差は、BodyFusionの0.0554mからDoubleFusionの0.0458mに低下し、特に高速な動きの際の性能向上が顕著に見られた。
• 体の大部分が一時的に遮蔽された場合でも、安定したループクロージャとロバストなトラッキングを実現した。
• 再構築された内側ボディーシェイプは視覚的に妥当であり、厚い服を着た状態でも平均頂点誤差が低く抑えられていた。
• ボリューム形状-ポーズ最適化により、非剛性トラッキングの正確性が向上し、定量的評価におけるポイントトープランエラーが低減した。
• 特に複雑で高速な動きを扱う際の評価において、定性的および定量的に、DynamicFusionおよびBodyFusionを上回る性能を発揮した。