[論文レビュー] Towards High-fidelity Nonlinear 3D Face Morphable Model

Luan Tran, Feng Liu+1 more|arXiv (Cornell University)|Apr 9, 2019

Face recognition and analysis参考文献 50被引用数 14

ひとこと要約

本稿では、柔軟な正則化を用いて形状およびアルベドプロキシを学習することで、グローバル構造とローカル顔領域の詳細をバランスさせる二重パスナレッジを用いた、高精細な非線形3D顔モーファブルモデルを提案する。この手法は、潜在表現のみを最適化することで、従来の線形および非線形3DMMよりも忠実度およびアイデンティティ保持性に優れた、最先端の3D顔再構築を達成する。

ABSTRACT

Embedding 3D morphable basis functions into deep neural networks opens great potential for models with better representation power. However, to faithfully learn those models from an image collection, it requires strong regularization to overcome ambiguities involved in the learning process. This critically prevents us from learning high fidelity face models which are needed to represent face images in high level of details. To address this problem, this paper presents a novel approach to learn additional proxies as means to side-step strong regularizations, as well as, leverages to promote detailed shape/albedo. To ease the learning, we also propose to use a dual-pathway network, a carefully-designed architecture that brings a balance between global and local-based models. By improving the nonlinear 3D morphable model in both learning objective and network architecture, we present a model which is superior in capturing higher level of details than the linear or its precedent nonlinear counterparts. As a result, our model achieves state-of-the-art performance on 3D face reconstruction by solely optimizing latent representations.

研究の動機と目的

• 強い正則化が高周波数の詳細回復を妨える3D顔再構築の限界を克服すること。
• 非線形3DMMにおけるグローバル形状正則化とローカル詳細忠実度の相反する目的を解決すること。
• 学習された形状およびアルベドプロキシを用いて正則化を分離することで、3D顔再構築の品質を向上させること。
• 二重パスナレッジアーキテクチャを用いてグローバルな頑健性とローカルな表現力のバランスを取ること。
• 外部の教師信号を用いずに潜在表現のみを最適化することで、最先端の3D顔再構築性能を達成すること。

提案手法

• 形状およびアルベドプロキシを独立して正則化することで、真の形状およびアルベドをより忠実に学習可能にする。
• 柔軟に正則化されたプロキシと真の成分を組み合わせる新しいペアリング方式を採用し、品質を損なわず詳細を保持する。
• 粗い顔構造を処理するグローバルパスと、意味的顔領域を処理する複数のローカルパスを持つ二重パスナレッジを設計し、詳細モデリングを強化する。
• グローバルおよびローカルパス間の特徴統合により、高解像度の3D顔メッシュおよびアルベドマップを生成する。
• 深層エンコーダーネットワークを活用して、単一の2D画像から潜在コードを回帰し、3DMMパラメータのエンドツーエンド最適化を可能にする。
• UV空間でシャドーなしのアルベドを推定することで、ライティングとアルベドを分解し、正確なテクスチャ編集を可能にする。

実験結果

リサーチクエスチョン

• RQ1 別々の正則化を用いて形状およびアルベドプロキシを学習することで、高精細な3D顔再構築が向上するか？
• RQ2 二重パスナレッジアーキテクチャは、グローバル構造とローカル顔領域の詳細モデリングをどのようにバランスさせるか？
• RQ3 非線形3DMMが潜在表現の最適化のみで、どれほど最先端の性能を達成できるか？
• RQ4 本手法は、困難な屋外環境下でも、従来の3DMMよりもアイデンティティをよりよく保持するか？
• RQ5 本モデルは、ステッカーまたはタトゥーの適用といったリアルな3D顔編集タスクを可能にするか？

主な発見

• 本手法は、明示的な教師信号や追加データを必要とせず、潜在表現のみを最適化することで、最先端の3D顔再構築性能を達成する。
• アイデンティティ保持性において、テスト画像の77.2%が線形および非線形3DMMの再構築結果と比較して、入力とのコサイン距離が最小であり、優れたアイデンティティ忠実度を示している。
• 本モデルは、顔のひげや化粧などの高周波数の詳細を効果的に回復できており、線形および強く正則化された非線形3DMMでしばしば失われる部分を克服している。
• Selaら[35]のようなSOTA手法と比較して、本手法は屋外の変動にさらに強く、合成データによるドメインシフト問題を回避している。
• 二重パスナレッジネットワークは、顔領域ごとに特徴マップを専用化することで、より優れた詳細モデリングと計算効率を実現している。
• 本手法は、自然なレンダリングが可能な形状、アルベド、ライティングの正確な推定を可能にし、ステッカーの適用などのリアルな3D顔編集を実現している。