[論文レビュー] Ear-to-ear Capture of Facial Intrinsics

Alassane Seck, William A. P. Smith+4 more|arXiv (Cornell University)|Sep 8, 2016

Advanced Vision and Imaging参考文献 16被引用数 5

ひとこと要約

本稿では、幾何的キャリブレーションを不要とする、高解像度の内在的テクスチャ（拡散・鏡面アルベドおよび詳細なノーマルマップを含む）を有する完全な耳から耳への3次元顔面モデルを取得するための手法を提示する。マルチビュー・ステレオによる粗いメッシュ再構築と、3つのポーズで得た偏光照明を用いたフォトメトリック・ステレオを組み合わせることで、視点依存の表面ノーマルとテクスチャを滑らかに統合し、幾何的キャリブレーションや視点制限なしに写実的レンダリングや再ライティングを可能にする。

ABSTRACT

We present a practical approach to capturing ear-to-ear face models comprising both 3D meshes and intrinsic textures (i.e. diffuse and specular albedo). Our approach is a hybrid of geometric and photometric methods and requires no geometric calibration. Photometric measurements made in a lightstage are used to estimate view dependent high resolution normal maps. We overcome the problem of having a single photometric viewpoint by capturing in multiple poses. We use uncalibrated multiview stereo to estimate a coarse base mesh to which the photometric views are registered. We propose a novel approach to robustly stitching surface normal and intrinsic texture data into a seamless, complete and highly detailed face model. The resulting relightable models provide photorealistic renderings in any view.

研究の動機と目的

• 幾何的キャリブレーションを必要とせずに、顔の形状、拡散アルベド、鏡面アルベドといった内在的性質を完全に耳から耳までキャプチャすること。
• フォトメトリック・ステレオにおける偏光球面勾配照明の視点依存性を、複数のポーズで顔をキャプチャすることで克服すること。
• 重なり合う視点間で表面ノーマルと内在的テクスチャを滑らかに統合し、1つの高解像度で完全な顔面モデルに統合する、頑健な統合パイプラインを開発すること。
• 任意の照明および視点条件下でも写実的レンダリングが可能な再ライティング可能な3次元顔面モデルを生成すること。
• 撮影条件に依存しない高精度な顔面表現を必要とする、グラフィックス、心理学、コンピュータビジョン分野の応用を支援すること。

提案手法

• 複数のカメラからのキャリブレーションなしマルチビュー・ステレオを用いて、顔の粗いベース3次元メッシュを生成する。
• 偏光照明を用いたライトステージを用いてフォトメトリックデータを取得し、拡散および鏡面反射の両方の視点依存表面ノーマルを推定する。
• 完全な耳から耳へのカバレッジを確保し、単一視点フォトメトリックキャプチャの制限を軽減するため、3つの異なるポーズからデータを取得する。
• フォトメトリック整合性とノーマル整合性に基づく頑健な登録プロセスを用いて、フォトメトリックビューをベースメッシュにアライメントする。
• 境界アーチファクトを最小限に抑え、微細なディテールを保持するパッチベースの統合法を用いて、高解像度のノーマルマップおよび内在的テクスチャマップ（拡散および鏡面アルベド）を統合する。
• 統合されたノーマルマップ（拡散または鏡面）を用いてベースメッシュを精錬することで、幾何的忠実性と表面ディテールを向上させ、特に鏡面ノーマルがより高いマイクロジオメトリ精度を達成する。

実験結果

リサーチクエスチョン

• RQ1 キャリブレーションを必要とせず、顔の内在的反射特性（形状、拡散アルベド、鏡面アルベド）を完全に耳から耳までキャプチャできるか？
• RQ2 偏光球面勾配照明の視点依存性をどのように克服し、完全な顔面カバレッジを実現できるか？
• RQ3 複数のポーズから得た高解像度の視点依存ノーマルマップおよびアルベドテクスチャを、1つの整合性のあるモデルに滑らかに統合する最適な戦略は何か？
• RQ4 拡散ノーマルマップと鏡面ノーマルマップの両方を用いる場合、最終メッシュの品質およびディテールにどのような影響を与えるか？
• RQ5 固定された粗さおよび屈折率（IOR）パラメータを持つ単純なBRDFモデルが、高ダイナミックレンジの内在的データと組み合わされた場合、どの程度写実的なレンダリングを達成できるか？

主な発見

• 提案された複数ポーズキャプチャ戦略により、偏光球面勾配照明の単一視点制限が効果的に克服され、顔の完全な耳から耳へのカバレッジが実現された。
• 頑健なテクスチャ統合技術のおかげで、重なり領域でさえも目に見えるパッチ境界やブレンドアーチファクトが存在せず、滑らかな統合が達成された。
• 鏡面ノーマルマップは、体積散乱効果が小さいため、拡散ノーマルに比べて最終メッシュにおける表面ディテールが顕著に向上した。
• Cook-Torrance BRDFを用いて、拡散／鏡面ノーマルをハイブリッドで使用することで、顔面全体に一定の粗さおよびIORを仮定しても、高い視覚的忠実度を達成した。
• 本手法により、高解像度で再ライティング可能な顔面モデルが得られ、キャラクタアニメーション、心理的刺激要因、ポーズ／照明不変認識の応用に適している。
• 本手法は顔のひげに対しても頑健であり、微細な顔面特徴（毛孔やしわなど）の高忠実度なマイクロジオメトリを維持していることがレンダリングにより実証された。