[論文レビュー] Weakly-Supervised Multi-Face 3D Reconstruction

Jialiang Zhang, Lixiang Lin+2 more|arXiv (Cornell University)|Jan 6, 2021

Face recognition and analysis参考文献 41被引用数 12

ひとこと要約

本論文は、複数の顔を1回の順方向伝播で3次元顔パラメータを予測する弱教師付き、ワンショットのエンドツーエンドマルチフェイス3次元再構成フレームワークを提案する。共有されたグローバルカメラモデルを活用して、相対的な3次元頭部位置と姿勢を回復する。この手法により、計算の冗長性が低減され、検出やクロッピングの前処理を必要とせず、効率的でデプロイに適した推論が可能になる。

ABSTRACT

3D face reconstruction plays a very important role in many real-world multimedia applications, including digital entertainment, social media, affection analysis, and person identification. The de-facto pipeline for estimating the parametric face model from an image requires to firstly detect the facial regions with landmarks, and then crop each face to feed the deep learning-based regressor. Comparing to the conventional methods performing forward inference for each detected instance independently, we suggest an effective end-to-end framework for multi-face 3D reconstruction, which is able to predict the model parameters of multiple instances simultaneously using single network inference. Our proposed approach not only greatly reduces the computational redundancy in feature extraction but also makes the deployment procedure much easier using the single network model. More importantly, we employ the same global camera model for the reconstructed faces in each image, which makes it possible to recover the relative head positions and orientations in the 3D scene. We have conducted extensive experiments to evaluate our proposed approach on the sparse and dense face alignment tasks. The experimental results indicate that our proposed approach is very promising on face alignment tasks without fully-supervision and pre-processing like detection and crop. Our implementation is publicly available at \url{https://github.com/kalyo-zjl/WM3DR}.

研究の動機と目的

• 顔検出やクロッピングの前処理を必要とせず、個々の検出された顔に対して別々の推論パスを実行する従来のマルチフェイス3次元再構成パイプラインの計算効率の低さとデプロイの複雑さを解消すること。
• 1つのネットワーク順方向伝播で複数の顔の3次元顔モデルパラメータ（形状、テクスチャ、ライティング、ポーズ）をエンドツーエンドで予測すること。
• 画像内に存在するすべての顔に統一されたグローバルカメラモデルを適用することで、相対的な3次元頭部位置と姿勢を回復すること。
• 顔検出やクロッピングといった前処理ステップを含まず、完全教師付きの監視や高品質な顔のアライメント・再構成を実現すること。

提案手法

• 1回の順方向伝播で複数の顔の3次元顔パラメータ（形状、アルベド、ライティング、ポーズ）を同時に回帰するワンショットでエンドツーエンドのディープラーニングフレームワークを提案する。
• スパarsな2次元ランドマークの監視と微分可能な画像形成を組み合わせたハイブリッド損失関数を採用し、弱教師付き学習を可能にする。
• 画像内に存在するすべての顔に共有されたグローバルカメラモデルを導入することで、焦点距離とカメラ中心を一貫させ、相対的な3次元シーン構造の回復を保証する。
• 段階的な訓練戦略を用いて、フレームワーク全体をエンドツーエンドで最適化し、ロバストネスと収束性を向上させる。
• 冗長な特徴抽出を排除するため、1つのディープニューラルネットワーク（ResNet-50バックボーン）を用いて、同時に局所化と3次元パラメータ予測を実行する。
• 微分可能なレンダリングを活用して、3次元顔再構成を生画像ピクセルで監視することで、3次元の真値がなくても弱教師付き学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 顔検出やクロッピングといった前処理を必要とせず、1つのディープニューラルネットワークが複数の顔を同時に3次元顔パラメータに効果的に予測できるか。
• RQ2 共有されたグローバルカメラモデルは、マルチフェイスシーンにおける相対的な3次元頭部位置と姿勢の回復をどのように向上させるか。
• RQ3 2次元ランドマークと画像ピクセルのみを用いた弱教師付き学習が、どれほど高精度な3次元顔再構成を達成できるか。
• RQ4 提案されたワンショットフレームワークは、従来の2段階パイプラインと比較して、計算効率と再構成品質の両面で優れているか。

主な発見

• 提案手法は、完全教師付き3次元監視や前処理ステップを必要とせず、スパースおよびドメインの顔アライメントタスクで最先端の性能を達成した。
• 512×512の画像に複数の顔が存在する場合、推論時間を12 msにまで短縮し、顔の数に関わらず一定時間で推論が可能である。これは、従来のパイプラインが顔の数に比例してスケーリングするのとは対照的である。
• グローバルカメラモデルの導入により、従来の個々の顔ごとの独立したモデリングでは失われる相対的な3次元頭部位置と姿勢の回復が正確に実現された。
• 定性的な結果から、MoFA、Tran、Genovaらと比較して、再構成された顔の類似度、テクスチャの忠実度、色の一貫性が向上していることが確認された。
• 特徴マップの分析から、前処理の変動に対してロバストであることが確認され、中央に位置する顔では一貫した再構成品質が得られている。
• AFLW2000-3Dおよびマルチフェイスベンチマークにおいても高い再構成忠実度を達成しており、実世界のシナリオでも有効性が示された。