[論文レビュー] Photorealistic Facial Texture Inference Using Deep Neural Networks

Shunsuke Saito, Lingyu Wei+3 more|arXiv (Cornell University)|Dec 2, 2016

Face recognition and analysis参考文献 15被引用数 12

ひとこと要約

本論文では、事前学習済みのVGG-19ネットワークからの中間層特徴相関を活用することで、1枚の制約のない2次元画像から、写真のようにリアルな高解像度の顔のテクスチャマップを推定する深層学習ベースの手法を提示する。高解像度顔データベースからの特徴相関の凸結合を通じて、毛孔やそばかすなどのメソスコピックスケールの詳細を合成し、マルチビューのLight Stageシステムと同等の写真的リアリズムを持つ3次元レンダリングを実現する。

ABSTRACT

We present a data-driven inference method that can synthesize a photorealistic texture map of a complete 3D face model given a partial 2D view of a person in the wild. After an initial estimation of shape and low-frequency albedo, we compute a high-frequency partial texture map, without the shading component, of the visible face area. To extract the fine appearance details from this incomplete input, we introduce a multi-scale detail analysis technique based on mid-layer feature correlations extracted from a deep convolutional neural network. We demonstrate that fitting a convex combination of feature correlations from a high-resolution face database can yield a semantically plausible facial detail description of the entire face. A complete and photorealistic texture map can then be synthesized by iteratively optimizing for the reconstructed feature correlations. Using these high-resolution textures and a commercial rendering framework, we can produce high-fidelity 3D renderings that are visually comparable to those obtained with state-of-the-art multi-view face capture systems. We demonstrate successful face reconstructions from a wide range of low resolution input images, including those of historical figures. In addition to extensive evaluations, we validate the realism of our results using a crowdsourced user study.

研究の動機と目的

• 従来の単眼撮影手法の限界を克服し、制約のない1枚の2次元画像から高精細な3次元顔再構築を可能にすること。
• 線形PCAモデルでは捉えきれない、メソスコピックスケールの詳細（例：毛孔、そばかす）を含む写真的リアリズムを持つ高解像度アルベドテクスチャマップを合成すること。
• 深層ネットワークの微調整を必要とせず、被写体の外見を保ちながら、意味的に妥当で現実的な顔テクスチャを生成すること。
• クラウドソーシングによるユーザースタディを通じて、合成されたテクスチャのリアリズムを、Light Stageによる真値データと比較して検証すること。

提案手法

• 3次元顔形状再構築から得られる線形PCAモデルを用いて、初期の低周波数アルベドを推定する。
• 入力画像の顔領域から、照度効果を除いた高周波数テクスチャ成分を抽出する。
• 事前学習済みのVGG-19ネットワークからの中間層特徴相関を、複数スケールにわたる高周波数顔の詳細を表現するために用いる。
• 大規模な高解像度顔テクスチャデータベースからの参照相関の凸結合を計算することで、完全な高周波数特徴相関セットを推定する。
• バックプロパゲーションと準ニュートン法を用いて、初期アルベドを繰り返し最適化することで、推定された特徴相関に一致する高解像度アルベドテクスチャマップを合成する。
• エンドツーエンドの学習を避けるために、固定された事前学習済みVGG-19ネットワークに依存することで、高速な推論と一般化性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの深層ネットワークからの中間層特徴相関は、不完全な2次元入力からメソスコピックスケールの顔テクスチャ詳細を効果的に表現・再構築できるか？
• RQ2 大規模データベースからの凸結合による特徴相関ブレンドは、線形または最近傍探索アプローチに比べ、より意味的に妥当で現実的な顔テクスチャを生成できるか？
• RQ3 本手法は、低解像度で部分的で制約のない画像からも、高解像度で写真的リアリズムを持つアルベドマップを生成可能であり、被写体の外見を保っているか？
• RQ4 本手法で生成されたテクスチャのリアリズムは、高精細マルチビューシステム（例：Light Stage）で撮影された真値データと比べてどの程度か？
• RQ5 専門外のユーザーが盲検スタディで、合成されたテクスチャと本物の顔テクスチャを信頼性高く区別できるか？

主な発見

• 凸結合による特徴相関を用いた本手法はユーザースタディで最高のリアリズムを達成し、56％の参加者がLight Stageのキャプチャより合成結果をより写真的リアリスティックだと評価した。
• クラウドソーシングによるユーザースタディでは、74％の参加者が本手法の結果を最先端のビジオライゼーションフレームワークの結果よりも好んだ一方、72％がPCAベースのフィッティングの結果よりも好んだ。
• 外れ値を除いても、57％の参加者が合成結果をLight Stageデータよりもよりリアルだと判断したため、強力な知覚的品質を示している。
• 本手法は、低解像度入力からも、そばかすやひげの生え際といった微細な詳細を、空間的に整合性のある形で再構築できた。
• 特徴相関ブレンドの使用は、PatchMatch補完法や非制約付き線形結合法を上回り、繰り返しパターンや意味的に誤った補完を回避した。
• 深層ネットワークの微調整を一切行わず、事前学習済みのVGG-19特徴に依存するだけで高精細な結果を達成したため、一般化性能と効率性が示された。