[論文レビュー] Monocular Real-Time Volumetric Performance Capture

Ruilong Li, Yuliang Xiu+4 more|arXiv (Cornell University)|Jul 28, 2020

Advanced Vision and Imaging参考文献 84被引用数 4

ひとこと要約

本論文は、マルチビュー設定や個人用テンプレートを必要とせず、単一のビデアストリームからの高精細で完全にテクスチャが付加された3次元人の再構築を実現する、初めてのリアルタイムモノクローラルボリューメトリックパフォーマンスキャプチャシステムを提示する。階層的表面局所化アルゴリズムとメッシュフリーのレンダリングを導入することで、再構築速度が2桁向上し、256³解像度で15 fpsを達成した。また、オンラインハード例マイニング技術により、レアポーズや衣装スタイルに対する耐性が向上した。

ABSTRACT

We present the first approach to volumetric performance capture and novel-view rendering at real-time speed from monocular video, eliminating the need for expensive multi-view systems or cumbersome pre-acquisition of a personalized template model. Our system reconstructs a fully textured 3D human from each frame by leveraging Pixel-Aligned Implicit Function (PIFu). While PIFu achieves high-resolution reconstruction in a memory-efficient manner, its computationally expensive inference prevents us from deploying such a system for real-time applications. To this end, we propose a novel hierarchical surface localization algorithm and a direct rendering method without explicitly extracting surface meshes. By culling unnecessary regions for evaluation in a coarse-to-fine manner, we successfully accelerate the reconstruction by two orders of magnitude from the baseline without compromising the quality. Furthermore, we introduce an Online Hard Example Mining (OHEM) technique that effectively suppresses failure modes due to the rare occurrence of challenging examples. We adaptively update the sampling probability of the training data based on the current reconstruction accuracy, which effectively alleviates reconstruction artifacts. Our experiments and evaluations demonstrate the robustness of our system to various challenging angles, illuminations, poses, and clothing styles. We also show that our approach compares favorably with the state-of-the-art monocular performance capture. Our proposed approach removes the need for multi-view studio settings and enables a consumer-accessible solution for volumetric capture.

研究の動機と目的

• 単一のコンsumerクラスカメラからのリアルタイムかつ高品質なボリューメトリックパフォーマンスキャプチャを可能にし、マルチビュー系や事前キャプチャ済みテンプレートの必要性を排除すること。
• 従来1フレームあたり数10秒もかかるPixel-Aligned Implicit Function (PIFu) の計算ボトル neck を克服し、リアルタイムデプロイを可能にすること。
• トレーニングにおけるデータのアンバランス（特に稀なポーズや複雑な衣装）に対処することで、困難な状況（レアポーズ、複雑な衣装、照明の変化）に対する再構築の耐性を向上させること。
• 明示的なメッシュ抽出を回避し、直接的かつ効率的な新規ビューレンダリングを実現することで、レンダリング遅延を低減すること。

提案手法

• 粗くから細かくまで3次元点をクエリする階層的表面局所化アルゴリズムを提案し、表面再構築に必要な評価回数を著しく削減する。
• メッシュ抽出やテクスチャマッピングを回避する直接レンダリング技術を導入し、暗黙関数から直接レンダリングすることで、新規ビュー合成を高速化する。
• 再構築誤差に基づいてトレーニングサンプルを動的に再重み付けするオンラインハード例マイニング（OHEM）戦略を採用し、困難なケースに学習を集中させる。
• トレーニング中にハード例（例：稀なポーズ、複雑な衣装）のサンプリング確率を増加させるプログレッシブサンプリング戦略を採用し、アーチファクトを抑制する。
• 高解像度の暗黙的3次元表現（幾何とテクスチャ）を実現するPIFuフレームワークを活用するとともに、空間的プルーニングによる推論速度最適化を実施する。
• 階層的局所化と暗黙的テクスチャレンダリングを組み合わせることで、256³解像度でエンドツーエンドのリアルタイムパフォーマンスを達成する。

実験結果

リサーチクエスチョン

• RQ1 マルチビューデータを必要とせず、再構築品質を損なわずに、モノクローラル3次元人体パフォーマンスキャプチャをリアルタイム速度に加速できるか？
• RQ2 PIFuスタイルの暗黙的再構築の高い計算コストを、高精細な幾何とテクスチャを保持したまま低減できるか？
• RQ3 合成トレーニングデータにおけるデータアンバランス（特に稀なポーズや衣装スタイル）を効果的に是正することで、一般化性能の向上とアーチファクトの低減が図れるか？
• RQ4 明示的なメッシュ抽出やトライアングル化を経由せずに、リアルタイムの新規ビューレンダリングが可能か？
• RQ5 トレーニング中に適応的サンプリング戦略を採用することで、手動でのデータキュレーションなしに、困難な入力条件に対する耐性を向上できるか？

主な発見

• 提案された階層的表面局所化アルゴリズムにより、PIFuベースの再構築が2桁の速度向上を達成し、推論時間が1フレームあたり30秒から0.14秒に短縮された。
• 高速化された再構築とメッシュフリーのレンダリングを組み合わせることで、256³解像度で全ボリューメトリックレンダリングが15 fpsを達成し、リアルタイムパフォーマンスキャプチャを実現した。
• オンラインハード例マイニング（OHEM）技術により、特に稀なポーズや複雑な衣装における再構築アーチファクトが顕著に低減され、全体の忠実度と一般化性能が向上した。
• 定性的および定量的評価の両方で、本手法は、事前キャプチャ済みテンプレートがなくても、最先端のモノクローラル再構築手法を上回る精度と耐性を示した。
• トポロジーの変化と動的テクスチャを適切に処理でき、テンプレートベースの手法とは異なり、表現力豊かなパフォーマンスのリアルなレンダリングが可能となった。
• 本手法は人間以外のオブジェクトやトポロジーにも一般化可能であり、コンsumerカメラからのリアルタイム3次元キャプチャのスケーラブルな基盤としての応用が可能である。