[論文レビュー] Model-based Outdoor Performance Capture

Nadia Robertini, Dan Casas+3 more|arXiv (Cornell University)|Oct 21, 2016

Human Pose and Action Recognition参考文献 48被引用数 7

ひとこと要約

本論文は、3次元ガウスの統一的暗黙的表現を用いて、制御されていない屋外環境でも高精細な人間のパフォーマンスキャプチャを実現する、新しいモデルベースの手法を提案する。2段階の最適化（まず粗いポーズ推定、次に「ボーダー・ガウス」を用いた詳細な形状リファインメント）により、明示的なシルエットセグメンテーションを必要とせず、屋外環境でも最先端の再構成品質を達成し、従来の屋内手法と同等の性能を発揮する。

ABSTRACT

We propose a new model-based method to accurately reconstruct human performances captured outdoors in a multi-camera setup. Starting from a template of the actor model, we introduce a new unified implicit representation for both, articulated skeleton tracking and nonrigid surface shape refinement. Our method fits the template to unsegmented video frames in two stages - first, the coarse skeletal pose is estimated, and subsequently non-rigid surface shape and body pose are jointly refined. Particularly for surface shape refinement we propose a new combination of 3D Gaussians designed to align the projected model with likely silhouette contours without explicit segmentation or edge detection. We obtain reconstructions of much higher quality in outdoor settings than existing methods, and show that we are on par with state-of-the-art methods on indoor scenes for which they were designed

研究の動機と目的

• 変動する照明条件や動的背景の影響を受ける制御されていない屋外シーンにおいて、従来のシルエットベース手法が失敗するという課題に対処すること。
• 明示的な前景セグメンテーションやエッジ検出を必要とせず、関節部のポーズと非剛性表面形状の両方を正確に再構成できること。
• 骨格ポーズと表面形状を統合的にモデル化する3次元ガウスに基づく統一的暗黙的表現を構築し、最適化の改善と時間的整合性の向上を図ること。
• 屋外環境において、従来の手法を顕著に上回りつつ、屋内での最先端手法と同等の再構成品質を達成すること。
• 複雑な背景と変動する照明を伴う実世界の屋外シーケンスにおいて、頑健で高精度な性能を示すこと。

提案手法

• 2段階のフィッティングプロセスを採用：まずボリュメトリックな3次元ガウスを用いて粗い骨格ポーズを最適化し、次にポーズと非剛性表面形状を同時にリファインする。
• 3次元ガウスに基づく統一的暗黙的表現により、粗いボディ形状と詳細な表面幾何をモデル化し、微分可能で効率的な最適化を可能にする。
• 表面リファインメント段階では、「ボーダー・ガウス」と呼ばれる、明示的なセグメンテーションを必要とせず、投影されたモデルシルエットとおそらく輪郭領域を一致させるように設計された3次元ガウスの特殊な組み合わせを導入する。
• 各入力画像も暗黙的表現に変換され、観測されたシルエットと予測されたシルエットの間で一貫した比較が可能になる。
• 目的関数は、微分可能レンダリングと暗黙関数最適化を用いて、投影されたモデルと入力画像間の光度的および幾何的差を最小化する。
• 事前計算されたシルエットや背景差分に依存せず、セグメンテーションなしの動画フレーム上で動作する。

実験結果

リサーチクエスチョン

• RQ1 3次元ガウスの統一的暗黙的表現は、セグメンテーションなしの屋外動画において、骨格ポーズと非剛性表面形状を正確に同時に最適化可能か？
• RQ2 「ボーダー・ガウス」は、明示的なエッジ検出やセグメンテーションを必要とせず、正しいシルエットの輪郭に表面リファインメントを効果的に誘導できるか？
• RQ3 2段階のフィッティングパイプライン（粗いポーズ推定から始める）は、1段階またはセグメンテーション依存の手法と比較して、挑戦的な屋外シーンにおける再構成品質をどのように向上させるか？
• RQ4 このモデルベースのアプローチは、動的背景や変動する照明を伴う屋外環境でも、屋内における最先端手法と同等の性能を達成できる程度まで到達できるか？
• RQ5 衣服がゆるく動く複雑な変形を伴うシーケンスにおいて、手動の介入なしに時間的整合性と高い幾何的忠実性を維持できるか？

主な発見

• メッシュリファインメント後、カトリーディナル・シーケンスではF1スコア0.9362 ± 0.0033、ユニキャンパス・シーケンスでは0.9223 ± 0.0083を達成し、ステージIの結果を顕著に上回った。
• 既知の色の背景を持つスカート・シーケンスでは、F1スコア0.9676 ± 0.0056を達成し、Gallらのシルエットベース手法（0.9683 ± 0.0045）と同等の性能を示した。
• リファインメント段階で表面ガウスとボーダー・ガウスの両方を用いることで、ステージIのみの結果と比較して、一貫した顕著なシルエット被りの改善が得られた。
• 定性的な結果から、ノイズや幾何的アーチファクトがなく、時間的に整合性のある詳細な3次元メッシュが、複雑な屋外シーンでさえも再構成可能であることが示された。
• 元のフレームを再投影することで、正確な表面幾何と外観の整合性を有するテクスチャ付きモデルを再構成でき、有効性を裏付けた。
• 従来のモデルベース手法が失敗する屋外環境でも、高品質な再構成を達成し、屋内における最先端手法の性能と同等の結果を得た。