[論文レビュー] SimulCap : Single-View Human Performance Capture with Cloth Simulation

Tao Yu, Zerong Zheng+5 more|arXiv (Cornell University)|Mar 15, 2019

3D Shape Modeling and Analysis参考文献 70被引用数 9

ひとこと要約

SimulCapは、1枚のRGBD画像に基づく人体パフォーマンスキャプチャシステムを提案する。本手法は、身体と衣類を多層的な表面表現に分離し、繰り返し深度フィッティングを伴う物理ベースの布地シミュレーションを用いて、遮蔽領域を含むリアルな動的布地変形を再構築する。これにより、VR/ARおよびバーチャルトライオン応用向けに高精細で物理的に妥当かつアニメーション可能なアバターの実現が可能となる。

ABSTRACT

This paper proposes a new method for live free-viewpoint human performance capture with dynamic details (e.g., cloth wrinkles) using a single RGBD camera. Our main contributions are: (i) a multi-layer representation of garments and body, and (ii) a physics-based performance capture procedure. We first digitize the performer using multi-layer surface representation, which includes the undressed body surface and separate clothing meshes. For performance capture, we perform skeleton tracking, cloth simulation, and iterative depth fitting sequentially for the incoming frame. By incorporating cloth simulation into the performance capture pipeline, we can simulate plausible cloth dynamics and cloth-body interactions even in the occluded regions, which was not possible in previous capture methods. Moreover, by formulating depth fitting as a physical process, our system produces cloth tracking results consistent with the depth observation while still maintaining physical constraints. Results and evaluations show the effectiveness of our method. Our method also enables new types of applications such as cloth retargeting, free-viewpoint video rendering and animations.

研究の動機と目的

• 既存手法の単一表面再構築の限界に対処する。これには、布地と身体の相互作用や動的シワを捉えられない点が含まれる。
• 単一視点設定下で、遮蔽領域における物理的に妥当な布地ダイナミクスを再構築できないという、従来手法の欠陥を克服する。
• 身体と衣類の表現を分離することで、編集可能でアニメーション可能かつ物理的に一貫性のあるアバターを実現する。
• 物理ベースのシミュレーションと深度観測のフィッティングを統合することで、再構築の正確性とリアリズムを向上させる。
• 意味的で多層的なアバター構造を通じて、布地のリターゲティングやフリーパイントレンダリングといった新応用を支援する。

提案手法

• 1回の回転スキャンから、裸の身体と各衣類の別々のメッシュを自動抽出することで、多層的表面表現を構築する。
• 裸の身体に対してスケルトントラッキングを実行し、その後続の布地シミュレーションをリアルな骨格運動で駆動する。
• トラッキングされた身体上に物理ベースの布地シミュレーションを適用し、物理的に妥当な動的変形と相互作用を生成する。
• 深度フィッティングを物理的プロセスとして定式化し、観測された深度データと整合性を保ちつつ物理的制約を維持する。
• 繰り返し深度フィッティングを用いて布地メッシュの位置を精緻化し、入力深度観測との整合性を高め、フィッティング誤差を低減する。
• 多層構造を活用して、異なるボディシェイプやポーズを持つ人物に衣類を転送することで、布地リターゲティングを実現する。

実験結果

リサーチクエスチョン

• RQ1 単一視点RGBDシステムは、可視領域を超えて、シワや遮蔽領域を含むリアルで動的な布地変形を再構築できるか？
• RQ2 物理ベースの布地シミュレーションは、標準的なスキンニングやワープ法と比較して、キャプチャされた布地のリアリズムと物理的妥当性を向上させられるか？
• RQ3 物理的制約を組み込んだ繰り返し深度フィッティングは、標準的なデータフィッティングに比べて、より正確で一貫性のある布地トラッキングを実現できるか？
• RQ4 多層的アバター表現は、布地リターゲティングやフリーパイントレンダリングといった新応用を可能にするか？
• RQ5 身体と衣類のトラッキングを分離することで、重ね着やスライドといった複雑な布地-身体相互作用のモデリングがどのように向上するか？

主な発見

• SimulCapは、従来手法に比べて、特に視認できない領域で失敗するような遮蔽領域においても、はるかにリアルな布地ダイナミクスとシワの詳細を再現する。
• 繰り返し深度フィッティングプロセスにより、深度フィッティング誤差が低減され、観測された深度データとの整合性が向上した。これは、図11で定量的に示されている。
• 遮蔽領域における合理的な布地運動の再構築に成功した。これは、遮蔽側をキャプチャする2台目のRGBDカメラによる検証で、正確な「幻覚化（hallucination）」の実現が裏付けられている。
• 従来手法で一般的なアーティファクト（誤った表面統合や腋の周辺での滑らかすぎるワープ）が、多層的かつ物理駆動型のアプローチにより解消された。
• 布地リターゲティングが成功裏に実装され、異なるボディシェイプやポーズを持つ人物に衣類を転送しながらも、動的リアリズムを保持した。
• 本手法により、高品質なフリーパイント動画レンダリングが可能となり、リアルで動的なシェーディングとアニメーションを実現する3Dエンジンへの統合も可能となった。