[論文レビュー] Extreme 3D Face Reconstruction: Looking Past Occlusions.

Anh Tran, Tal Hassner+4 more|arXiv (Cornell University)|Dec 14, 2017

Face recognition and analysis参考文献 36被引用数 15

ひとこと要約

本論文は、深層畳み込みエンコーダ・デコーダを用いてボリュームマップを予測することで、グローバルな形状推定とミドルレベルの顔面ディテールを分離する階層的3D顔再構築手法を提案している。この手法により、従来の手法が失敗する極端な視点や遮蔽下でも高精細な3D顔再構築が可能となる。

ABSTRACT

Existing single view, 3D face reconstruction methods can produce beautifully detailed 3D results, but typically only for near frontal, unobstructed viewpoints. We describe a system designed to provide detailed 3D reconstructions of faces viewed under extreme conditions, out of plane rotations, and occlusions. Motivated by the concept of bump mapping, we propose a layered approach which decouples estimation of a global shape from its mid-level details (e.g., wrinkles). We estimate a coarse 3D face shape which acts as a foundation and then separately layer this foundation with details represented by a bump map. We show how a deep convolutional encoder-decoder can be used to estimate such bump maps. We further show how this approach naturally extends to generate plausible details for occluded facial regions. We test our approach and its components extensively, quantitatively demonstrating the invariance of our estimated facial details. We further provide numerous qualitative examples showing that our method produces detailed 3D face shapes in viewing conditions where existing state of the art often break down.

研究の動機と目的

• 極端な視点や遮蔽下で失敗する既存の3D顔再構築手法の限界を解消すること。
• 最先端の手法が破綻するような厳しい視点条件下でも詳細な3D顔再構築を可能にすること。
• しわのようなミドルレベルの顔面ディテールをグローバルな顔の形状推定から分離することで、より高い耐障害性を実現すること。
• 遮蔽領域でさえも現実的な顔面ディテールを生成できる深層学習ベースのアプローチを開発すること。
• 推定された顔面ディテールが、さまざまな視点角度や遮蔽パターンに対して不変であることを示すこと。

提案手法

• 本手法は、ディテール追加の前提となる粗い3D顔形状を推定する。
• しわのようなミドルレベルの顔面ディテールは、粗い形状に重ねるボリュームマップとしてモデル化される。
• 単一の画像からボリュームマップを予測するため、深層畳み込みエンコーダ・デコーダネットワークを訓練する。
• ボリュームマップ表現により、可視部分からのコンテキストを活用して遮蔽領域における現実的なディテール生成が可能になる。
• 本手法は、平面外回転や部分的遮蔽に対して不変であるように設計されている。
• ボリュームマップを粗い形状と統合することで、最終的な詳細な3D顔再構築が得られる。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのボリュームマップ予測手法は、極端な視点条件下でも詳細な3D顔再構築を実現できるか？
• RQ2 モデルは、部分的または完全に遮蔽された顔面領域に対してもどれほど一般化できるか？
• RQ3 推定された顔面ディテール表現は、大きな視点変動に対してどの程度不変であるか？
• RQ4 形状とディテールの分離表現は、エンドツーエンド手法と比較して、困難な条件下での再構築品質を向上させられるか？
• RQ5 ボリュームマップアプローチは、画像的証拠のない遮蔽領域においても現実的なディテール合成を可能にするか？

主な発見

• 提案手法は、従来の最先端手法が失敗する極端な視点条件下でも高精細な3D顔再構築を達成した。
• 実験により定量的に示されたように、推定された顔面ディテールはさまざまな視点角度に対して強く不変である。
• 可視部分からのコンテキストを活用して、遮蔽領域においても現実的なミドルレベルの顔面ディテール（例：しわ）を効果的に生成できた。
• 定性的な結果から、本手法は深刻な遮蔽や非正面視点下でも詳細で現実的な3D顔を生成できていることが示された。
• アブレーションスタディにより、困難な条件下での再構築品質向上に、階層的アプローチの有効性が確認された。
• ボリュームマップベースの表現により、遮蔽領域に対する明示的な教師信号が不要なまま、頑健なディテール予測が可能になった。