[論文レビュー] Better Together: Joint Reasoning for Non-rigid 3D Reconstruction with Specularities and Shading

Qi Liu-Yin, Rui Yu+3 more|arXiv (Cornell University)|Aug 4, 2017

Advanced Vision and Imaging参考文献 2被引用数 7

ひとこと要約

本稿では、単一のRGB動画から非剛性3次元再構成、形状から明るさ（SfS）、鏡面反射モデリングを統合的に最適化する統一フレームワークを提案する。パイプライン的手法に比べ、再構成精度とロバスト性が顕著に向上する。拡散照明、鏡面反射、アルベドを一度の最適化に統合することで、実世界の動的変形と複雑な照明条件を伴う実験・合成データに対して最先端の結果を達成した。

ABSTRACT

We demonstrate the use of shape-from-shading (SfS) to improve both the quality and the robustness of 3D reconstruction of dynamic objects captured by a single camera. Unlike previous approaches that made use of SfS as a post-processing step, we offer a principled integrated approach that solves dynamic object tracking and reconstruction and SfS as a single unified cost function. Moving beyond Lambertian S f S , we propose a general approach that models both specularities and shading while simultaneously tracking and reconstructing general dynamic objects. Solving these problems jointly prevents the kinds of tracking failures which can not be recovered from by pipeline approaches. We show state-of-the-art results both qualitatively and quantitatively.

研究の動機と目的

• 形状から明るさ（SfS）を後処理として適用するパイプライン的手法の限界を解決する。特に、動的で非ラムベールトなシーンにおいて、トラッキングドリフトに起因する失敗を回避する。
• 実世界の照明条件下で、照明変動や鏡面反射が色ベースのトラッキングを著しく劣化させる状況において、単眼非剛性3次元再構成のロバスト性と品質を向上させる。
• 統一最適化フレームワーク内で拡散照明と鏡面反射を同時にモデリングし、顔の表情などの微細な意味的詳細をより正確に捉える。
• 物体の運動に伴い表面の外観が照明変化によって変化する場合に、従来の手法で一般的に見られるシステム的なトラッキング失敗を、統合的推論によって防止できることを示す。
• 深度情報やマルチカメラデータが利用できない状況においても、照明を形状、アルベド、照明パラメータの関数としてモデリングすることで、RGB入力のみで信頼性の高い再構成を実現する。

提案手法

• 因子分解に基づくアプローチを用いて、非剛性構造から運動（SfM）、形状から明るさ（SfS）、鏡面反射モデリングを統合的に最適化するコスト関数を定式化する。
• 画像強度をアルベド、拡散照明（球面調和関数でモデル化）、および鏡面成分に分解することで、人間の皮膚のような非ラムベールトな表面の正確なモデリングを可能にする。
• アルベドと照明の積をモデル化する光度項と、表面法線と照明方向に基づくハイライト形成を考慮する鏡面項を統合する。
• 全変動（total variation）およびARAP（As-Rigid-As-Possible）正則化を用いて、再構成された3次元形状の空間的滑らかさと時間的整合性を強制する。
• 深度マップが利用可能な場合（例：RGB-Dシーケンス）、データ適合項を用いて再構成をノイズの多い深度マスクと一致させる追加制約を統合する。
• ポーズ、3次元形状、アルベド、照明パラメータを交互に最適化するスケームを用いて、収束性とロバスト性を向上させる一括最適化を実行する。

実験結果

リサーチクエスチョン

• RQ1 非剛性SfM、SfS、鏡面反射モデリングの統合的最適化は、逐次的または後処理的SfS手法に比べ、再構成品質とトラッキングのロバスト性を顕著に向上させるか？
• RQ2 拡散照明と鏡面性を同時にモデリングすることで、動的で非ラムベールトな表面における顔の表情などの微細な意味的詳細の回復がどの程度向上するか？
• RQ3 統一フレームワークは、変動する照明条件と複雑な表面反射特性を伴う実世界シーケンスにおいて、トラッキングドリフトをどの程度低減するか？
• RQ4 深度情報やマルチカメラデータが利用できない状況において、本手法はRGB入力のみで高精細な再構成を達成できるか、特に厳しい照明条件下でも有効か？
• RQ5 初期テンプレートまたは深度マップにノイズが含まれる場合、本手法の感度はどの程度で、統合的最適化がこうした摂動下でも安定性を向上させるか？

主な発見

• ステレオセットで撮影された実世界シーケンスにおいて、本手法は最先端の定量的結果を達成した。統合最適化下では平均再構成誤差が3.0626（σ=0）に低下し、統合最適化なしの場合は3.1080にとどまった。
• 重度のシャドーアーティファクトを伴う合成シーケンスにおいて、本手法はValgaertsら（2012）の手法が強い照明変動に対応できなかった物体を正常にトラッキング・再構成できた。
• 統一フレームワークに鏡面モデリングを組み込むことで、合成データおよび実データ評価においてRMS誤差が低下し、再構成精度の明確な向上が確認された。
• ノイズのあるテンプレート（σ=0.01）を用いても、統合最適化フレームワークは安定した性能（RMS誤差3.5477）を維持し、初期化の不確実性に対するロバスト性を示した。
• 深度データが利用可能な場合、本手法は顕著な改善を示した。例として、統合最適化下でRGBのみの場合はRMS誤差が3.5791、深度を組み込むと3.5477に低下した。これはマルチモodalな情報の追加価値を裏付けた。
• Zollhoferら（2014）のRGB-D顔シーケンスにおける定性的な結果から、深度データがノイズを含むか、利用不可であっても、本手法はベースライン手法に比べより正確で詳細な再構成を生成した。