[論文レビュー] Unsupervised Training for 3D Morphable Model Regression

Kyle Genova, Forrester Cole+4 more|arXiv (Cornell University)|Jun 15, 2018

Face recognition and analysis参考文献 27被引用数 18

ひとこと要約

本論文は、ラベルなし写真のみを用いて、1枚の画像を3次元可塑的モデル（3DMM）パラメータにマッピングする教師なし手法を提案する。事前学習済み顔認識ネットワークからのアイデンティティ特徴量を活用し、バッチ分布損失、ループバック損失、マルチビュー同一性損失という3つの新規損失関数を導入することで、真の3次元データの教師信号を一切用いずに、最先端の3次元顔再構成精度を達成した。本手法は、困難な画像に対しても認識可能で同一性を保った3次元顔を生成する。

ABSTRACT

We present a method for training a regression network from image pixels to 3D morphable model coordinates using only unlabeled photographs. The training loss is based on features from a facial recognition network, computed on-the-fly by rendering the predicted faces with a differentiable renderer. To make training from features feasible and avoid network fooling effects, we introduce three objectives: a batch distribution loss that encourages the output distribution to match the distribution of the morphable model, a loopback loss that ensures the network can correctly reinterpret its own output, and a multi-view identity loss that compares the features of the predicted 3D face and the input photograph from multiple viewing angles. We train a regression network using these objectives, a set of unlabeled photographs, and the morphable model itself, and demonstrate state-of-the-art results.

研究の動機と目的

• 深層回帰ネットワークの学習に用いる大規模かつ現実世界の3次元顔データの不足を解消すること。
• 真の3次元スキャンや逆レンダリングを必要とせず、1枚の画像から正確な3次元顔再構成を可能にすること。
• 頑健でポーズおよび照明に不変なアイデンティティ特徴量を活用することで、3次元顔生成の一般化性能と同一性保持を向上させること。
• 合成データや反復的最適化に依存しないようにし、深層アイデンティティ埋め込みに基づく教師なし損失を用いること。

提案手法

• 本手法は、ラベルなし画像と事前学習済み顔認識ネットワークのみを用いて、画像ピクセルから3DMM形状およびテクスチャパラメータを予測する回帰ネットワークを訓練する。
• 微分可能レンダラが予測された3DMMパラメータから合成顔画像を生成し、レンダリングプロセスを通じた逆誤差伝搬を可能にする。
• アイデンティティ損失は、入力画像とレンダリングされた3次元顔の間でVGG-FaceまたはFaceNet特徴量を比較し、さまざまなポーズや照明下でも同一性の一貫性を保証する。
• バッチ分布損失は、予測された3DMMパラメータの統計的分布を、可塑的モデルの事前分布に一致させることで、モード崩壊を防ぐ。
• ループバック損失は、ネットワークが自身の出力を正しく再解釈できることを保証する。予測された3次元顔を再エンコードし、元のアイデンティティ特徴量を再構築することで実現する。
• マルチビュー同一性損失は、予測された3次元顔の複数の独立した視点からアイデンティティ特徴量を計算し、それらを入力画像の特徴量と比較することで、耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 3次元の教師信号や合成データを一切用いずに、3次元顔再構成ネットワークを学習できるか？
• RQ2 入力画像のポーズ、照明、表情が変化する状況でも、3次元顔再構成における同一性の一貫性をどのように保てるか？
• RQ3 ネットワークのだましやモード崩壊を回避するための、教師なし3DMM回帰に有効な損失関数は何か？
• RQ4 ラベルなし画像で学習された回帰ネットワークは、教師あり手法と同等またはそれ以上の性能を達成できるか？
• RQ5 ブラー、遮蔽、非写実的入力などの困難な現実世界の条件下でも、本手法の耐性はどの程度高いか？

主な発見

• MoFA-Testデータセットにおいて、VGG-Face特徴量を用いて87%のTop-1アイデンティティリコールを達成し、MoFA（19%）およびTranら（25%）を大きく上回った。
• 5,749人のアイデンティティを含むより大きなLFWデータセットでは、Top-5アイデンティティリコールが51%に達し、多様なアイデンティティへの強力な一般化性能を示した。
• LFWにおける再構成顔の類似度スコアと実際の同一アイデンティティペアの類似度スコアとの間のエアス・モーバイル距離（EMD）は0.16であった。これは、実際のアイデンティティと高い類似性を示している。
• BAMデータセットでは、スタイライズドなピクセル詳細に不変なアイデンティティ特徴量のおかげで、非写実的アートワークに対しても一貫性があり、認識可能な3次元顔を生成した。
• FERETストレステストセットを用いた実験で、ポーズ、照明、表情、遮蔽、ブラーに対して本手法が頑健であることが実証された。
• アイデンティティ損失、ループバック損失、バッチ分布損失を組み合わせた教師なし学習スキームにより、モード崩壊やネットワークのだましを効果的に回避し、高品質な3次元再構成が得られた。