[論文レビュー] Extreme 3D Face Reconstruction: Seeing Through Occlusions

Anh Tran, Tal Hassner+4 more|arXiv (Cornell University)|Dec 14, 2017

Face recognition and analysis参考文献 52被引用数 4

ひとこと要約

本論文は、バンプマップ表現を用いてグローバルな顔の形状推定とミドルレベルの顔の細部を分離することで、極端な3次元顔再構築のための新しい深層学習フレームワークを提案する。コアとなる3次元顔の形状を堅牢に推定し、畳み込みエンコーダ・デコーダによって別個に詳細な表面変異を予測することで、著しく遮蔽された状況や平面外回転下でも高精細な3次元再構築を達成する。本手法は、制約のない入力において、定量的精度と定性的な耐障害性の両面で最先端の手法を上回る性能を発揮する。

ABSTRACT

Existing single view, 3D face reconstruction methods can produce beautifully detailed 3D results, but typically only for near frontal, unobstructed viewpoints. We describe a system designed to provide detailed 3D reconstructions of faces viewed under extreme conditions, out of plane rotations, and occlusions. Motivated by the concept of bump mapping, we propose a layered approach which decouples estimation of a global shape from its mid-level details (e.g., wrinkles). We estimate a coarse 3D face shape which acts as a foundation and then separately layer this foundation with details represented by a bump map. We show how a deep convolutional encoder-decoder can be used to estimate such bump maps. We further show how this approach naturally extends to generate plausible details for occluded facial regions. We test our approach and its components extensively, quantitatively demonstrating the invariance of our estimated facial details. We further provide numerous qualitative examples showing that our method produces detailed 3D face shapes in viewing conditions where existing state of the art often break down.

研究の動機と目的

• 極度の遮蔽や大きな頭部回転が生じるような極端な条件下で失敗する既存の3次元顔再構築手法の限界を是正すること。
• 挑戦的な視認条件下でも詳細な3次元顔再構築を可能にするとともに、耐障害性を維持すること。
• グローバル形状推定とミドルレベルの顔の細部予測を分離することで、一般化性能の向上と遮蔽領域の処理を改善すること。
• 例示ベースの穴埋め法と3次元ソフト対称性を用いて、遮蔽領域に妥当でアイデンティティを保持する顔の細部を生成すること。
• バンプマップ表現が遮蔽に不変であり、顔の一部が隠されていてもアイデンティティ情報が保持されることを示すこと。

提案手法

• 本手法は、しわや毛穴などのミドルレベルの表面細部を符号化するバンプマップを推定するための深層畳み込みエンコーダ・デコーダネットワークを用いる。
• まず粗い3次元顔の形状を基礎として推定し、その後に予測されたバンプマップを重ねて細部を追加することで精錬する。
• 遮蔽領域に対しては、参照となる3次元顔データを用いた例示ベースの穴埋め技術を適用して、妥当な顔の細部を合成する。
• 3次元ソフト対称性を用いて、顔全体の対称的構造を活用することで、自己遮蔽された顔の特徴を推定する。
• アイデンティティ保持と幾何的整合性を促進する損失関数を用いて、バンプマップ推定をエンド・トゥ・エンドで訓練する。
• 本システムは、ImageNetで事前学習されたモデルを用いた転移学習を経て、CASIA 3次元顔データセット上で訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 深層学習に基づくバンプマップ推定手法は、遮蔽や大きな回転を伴う極端な視認条件下でも詳細な3次元顔再構築を達成できるか？
• RQ2 顔の一部が遮蔽された場合、バンプマップはどの程度アイデンティティ情報を保持できるか？
• RQ3 例示ベースの穴埋め法は、遮蔽領域において妥当でアイデンティティに一貫性のある顔の細部を生成できるか？
• RQ4 グローバル形状と局所的細部のモジュラー分離は、エンド・トゥ・エンドの3次元再構築ネットワークと比較して、どの程度耐障害性を向上させるか？
• RQ5 3次元ソフト対称性の使用は、自己遮蔽された顔の特徴の回復をどの程度向上させるか？

主な発見

• 提案手法のバンプマップ推定法は、LFW画像において高い認識精度を達成し、AlexNetベースの検証システムを用いた場合、CASIAデータセットで92.1%のトップ-1精度を示した。
• 75×75ピクセルの遮蔽を導入した場合、バンプマップの認識精度は92.1%から68.3%に低下した。これは、生のバンプマップが遮蔽に対して感受性が高いことを示している。
• 例示ベースの穴埋め法は、元の認識精度の89.4%を回復させた。これは、生成された細部が非常に妥当でアイデンティティを保持していることを示している。
• 定性的な比較では、最先端の手法が失敗するか、一般的な形状しか生成しない状況でも、本手法は詳細で現実的な3次元顔を生成していることが確認された。
• 本手法は、Selaら[44]のようなエンド・トゥ・エンドシステムよりも遮蔽や回転した顔の処理において優れており、細部と構造的一致性を両立させている。
• アブレーションスタディにより、形状の基礎とバンプマップの細部を分離するモジュラー設計が、極端な条件下でより耐障害性があり正確な再構築をもたらすことが確認された。