[論文レビュー] Learning Detailed Face Reconstruction from a Single Image

Elad Richardson, Matan Sela+2 more|arXiv (Cornell University)|Nov 15, 2016

Face recognition and analysis参考文献 40被引用数 9

ひとこと要約

本稿では、2段階のCNNパイプラインを用いたエンドツーエンドの深層学習フレームワークを提案する。CoarseNetは3次元可塑的モデル（3DMM）を用いて粗い3次元顔形状を予測し、その後FineNetが微細なディテールを、微分可能レンダリング層と非教師あり形状から明るさの推定損失を用いて精錬する。本手法は、FRGC V2データセット上で平均深度誤差3.22 mmを達成し、従来の単一画像手法を上回る最先端の精度を実現した。

ABSTRACT

Reconstructing the detailed geometric structure of a face from a given image is a key to many computer vision and graphics applications, such as motion capture and reenactment. The reconstruction task is challenging as human faces vary extensively when considering expressions, poses, textures, and intrinsic geometries. While many approaches tackle this complexity by using additional data to reconstruct the face of a single subject, extracting facial surface from a single image remains a difficult problem. As a result, single-image based methods can usually provide only a rough estimate of the facial geometry. In contrast, we propose to leverage the power of convolutional neural networks to produce a highly detailed face reconstruction from a single image. For this purpose, we introduce an end-to-end CNN framework which derives the shape in a coarse-to-fine fashion. The proposed architecture is composed of two main blocks, a network that recovers the coarse facial geometry (CoarseNet), followed by a CNN that refines the facial features of that geometry (FineNet). The proposed networks are connected by a novel layer which renders a depth image given a mesh in 3D. Unlike object recognition and detection problems, there are no suitable datasets for training CNNs to perform face geometry reconstruction. Therefore, our training regime begins with a supervised phase, based on synthetic images, followed by an unsupervised phase that uses only unconstrained facial images. The accuracy and robustness of the proposed model is demonstrated by both qualitative and quantitative evaluation tests.

研究の動機と目的

• 表情、アングル、照明、テクスチャの変動により困難な、単一の2次元画像から詳細な3次元顔の幾何を再構築するという、不適切に定義された問題に対処すること。
• 既存の単一画像手法が粗い再構築しか得られないという限界を克服し、微細ディテール回復のための2段階のディープラーニングパイプラインを導入すること。
• 手動アノテーションや外部初期化に依存しないように、合成データでの学習に続いて、実画像での非教師あり精錬により、その依存を排除すること。
• 3次元MMベースの粗い幾何を2次元深度マップに変換する、新規の微分可能レンダリング層を用いて、3次元MM幾何とディテール精錬ネットワークの間でエンドツーエンドの学習を可能にすること。
• 複数枚の画像、動画、または深度事前知識を必要とせずに、高精細な3次元顔再構築を実現すること。

提案手法

• フレームワークは、合成データで学習されたCNN、CoarseNetを用い、3次元可塑的モデル（3DMM）と顔のアングル推定を用いて3次元顔形状を予測する。
• FineNetは、完全畳み込みネットワークであり、形状から明るさの推定に類似した損失関数を用いて、実画像の入力から微細な顔のディテールを非教師ありで学習し、粗い深度マップを精錬する。
• 新規の微分可能レンダリング層は、3DMMベースの粗い幾何とアングルを2次元深度マップに変換し、エンドツーエンド学習中にCoarseNetへの逆誤差伝搬を可能にする。
• 学習戦略は2段階のアプローチを採用する：合成画像で真値の3DMM幾何を用いた教師あり事前学習の後、制約のない実画像での非教師あり微調整を行う。
• FineNetの損失関数は、形状から明るさの推定の公理的原則に基づいて設計され、高周波数の顔のディテールを保持することを目的としている。
• アーキテクチャは入力解像度を可変可能であり、再トレーニングなしに200×200から400×400の画像にスケーリング可能である。

実験結果

リサーチクエスチョン

• RQ1 複数視点や深度事前知識を必要とせずに、深層学習フレームワークが単一画像から詳細な3次元顔幾何を再構築できるか？
• RQ2 微分可能レンダリング層は、3DMMベースの粗い幾何予測器とディテール精錬ネットワークの間でエンドツーエンド学習をどのように可能にするか？
• RQ3 非教師あり設定で形状から明るさの推定に類似した損失関数を用いることで、実画像から単独で微細な顔のディテールをどの程度回復できるか？
• RQ4 2段階のCNNパイプラインは、既存の単一画像再構築手法に比べ、精度とアングル・表情変動へのロバストネスにおいて優れているか？
• RQ5 合成データによる粗い形状学習と実データによるディテール精錬の組み合わせは、高精細再構築を達成するためにどの程度効果的か？

主な発見

• 提案手法は、FRGC V2データセット上で平均深度誤差3.22 mmを達成し、[48]、[34]、[20]を含むすべての比較手法を上回った。
• 実際の野生環境の画像において、[34] や [48] よりも顕著に詳細な顔の幾何を再構築していることが、定性的な比較で示された。
• FineNetは入力解像度に対してロバストであることが示され、200×200で学習したにもかかわらず、400×400の画像に対してより高品質なディテールを生成した。
• 極端な頭部アングル、たとえばほぼ90°の角度でも、本手法は正確さとディテール回復を維持しており、図8で確認された。
• 非教師あり学習フェーズではCoarseNetがわずかにチューニングされたが、主な精錬はFineNetで行われており、3DMM表現がCoarseNetの微細ディテールへの適応性を制限していることが示唆された。
• 微分可能レンダリング層は、深度マップから3DMMパラメータへ勾配の流れを成功裏に実現し、両ネットワークの共同最適化を可能にした。