[論文レビュー] Disentangling Features in 3D Face Shapes for Joint Face Reconstruction and Recognition

Feng Liu, Ronghang Zhu+3 more|arXiv (Cornell University)|Mar 30, 2018

Face recognition and analysis被引用数 8

ひとこと要約

本論文は、1枚の2D画像から顔のアイデンティティと非アイデンティティ形状特徴を分離するエンコーダ・デコーダネットワークを用いた、3次元顔再構築と認識の統合フレームワークを提案する。複合3次元モーファブルモデルを用い、アイデンティティと非アイデンティティ形状成分のための別々の潜在変数を導入することで、再構築損失と認識損失を同時に最適化する。この手法により、3次元顔再構築精度（BU3DFEでのRMSE: 2.00±0.32）と顔認識（IJB-AでのTAR-10%: 94.43±1.47）の両面で、従来の3DMMベースおよびCNN単体の手法を上回る最先端の性能を達成した。

ABSTRACT

This paper proposes an encoder-decoder network to disentangle shape features during 3D face reconstruction from single 2D images, such that the tasks of reconstructing accurate 3D face shapes and learning discriminative shape features for face recognition can be accomplished simultaneously. Unlike existing 3D face reconstruction methods, our proposed method directly regresses dense 3D face shapes from single 2D images, and tackles identity and residual (i.e., non-identity) components in 3D face shapes explicitly and separately based on a composite 3D face shape model with latent representations. We devise a training process for the proposed network with a joint loss measuring both face identification error and 3D face shape reconstruction error. To construct training data we develop a method for fitting 3D morphable model (3DMM) to multiple 2D images of a subject. Comprehensive experiments have been done on MICC, BU3DFE, LFW and YTF databases. The results show that our method expands the capacity of 3DMM for capturing discriminative shape features and facial detail, and thus outperforms existing methods both in 3D face reconstruction accuracy and in face recognition accuracy.

研究の動機と目的

• 顔認識に向けたアイデンティティに敏感な特徴を明示的にモデル化できない、従来の3次元顔再構築手法の限界を是正すること。
• アイデンティティと残差（非アイデンティティ）形状成分を分離することで、3次元顔再構築と顔認識を同時に最適化すること。
• 深層学習を活用して特徴の識別能と詳細の捉え具合を向上させることで、3Dモーファブルモデル（3DMM）の制限された形状空間を克服すること。
• 大規模な頭部姿勢変化に対しても顔認識の頑健性を向上させることを目的とし、補完的な3次元形状特徴を活用すること。

提案手法

• 本手法は、1枚の2D画像から直接密度の高い3次元顔形状を回帰するエンコーダ・デコーダニューラルネットワークを用いる。
• アイデンティティと残差（非アイデンティティ）形状成分のための別々の潜在変数を持つ、複合3次元顔形状モデルを導入する。
• 3次元再構築誤差と顔識別損失を組み合わせた統合損失関数を用いてネットワークを学習させ、エンド・ツー・エンド最適化を実現する。
• ラベル付きのアイデンティティと対応する3次元形状を持つ訓練データを生成するために、マルチイメージ3DMMフィッティング手法を開発した。
• 学習プロセスは3段階に分けられる：3DMMによって生成されたデータでの事前学習、アイデンティティと残差特徴の分離、再構築と認識の両方の監視信号を用いた統合最適化。
• 元の3DMMの基底空間を超える表現能力を向上させるために、統合監視信号を用いたファインチューニングを実施した。

実験結果

リサーチクエスチョン

• RQ1 3次元顔再構築と顔認識を同時に最適化することで、両タスクの性能を同時に向上させることができるか？
• RQ2 深層ネットワークは、1枚の2D画像から得られる3次元顔形状において、アイデンティティに敏感な特徴とアイデンティティに無関係な特徴をどれほど効果的に分離できるか？
• RQ3 本手法は、従来の3DMMベースの再構築手法に比べて、顔の識別的特徴や詳細をどれほど効果的に捉えられるか？
• RQ4 分離された3次元形状特徴は、特に大規模な頭部姿勢変化といった困難な状況下でも顔認識精度を向上させることができるか？
• RQ5 統合学習スキームにより、3DMMの限られた形状空間を超えて一般化できるか？

主な発見

• BU3DFE（ポーズ）セットにおいて、本手法は再構築のRMSEが2.00±0.32に達し、ベースライン手法よりも顕著に低く、最先端の3次元顔再構築精度を実現した。
• IJB-Aデータセットでは、TAR-10%が94.43±1.47、TAR-1%が88.74±1.03を達成し、顔認識の分野で従来の3DMMベースおよびCNN単体の手法を上回った。
• 識別損失を統合した学習により、再構築誤差が段階IIの2.23±0.48から段階IIIの2.00±0.32に低下し、統合監視の有効性が裏付けられた。
• 本手法はアイデンティティに敏感な特徴を効果的に分離できており、再構築されたアイデンティティ形状が識別的特徴を保持しながら非アイデンティティ詳細を除去していることが実証された。
• DR-GANとの特徴融合により、IJB-Aでの認識精度が93.9±0.9に向上し、分離された3次元形状特徴がテクスチャベース特徴と補完的であることが示された。
• 本手法は、大規模な頭部回転に対しても良好に一般化できており、テクスチャベース手法が失敗する状況でも3次元形状特徴が正しく認識を可能にした。