[論文レビュー] Dense 3D Face Decoding over 2500FPS: Joint Texture & Shape Convolutional Mesh Decoders

Yuxiang Zhou, Jiankang Deng+2 more|arXiv (Cornell University)|Apr 6, 2019

Face recognition and analysis参考文献 38被引用数 6

ひとこと要約

本論文は、三角形メッシュ上での結合メッシュ畳み込みオートエンコーダーを用いて、メッシュドメイン上で直接3D形状とテクスチャを復元する、初めての非線形3Dメッシュアライメントモデル（3DMM）を提案する。三角形メッシュ上の幾何的ディープラーニングを活用することで、わずか17 MBのモデルサイズで2500 FPS以上のリアルタイムカラーメッシュ復元を達成し、パラメータ効率と速度において従来手法を著しく上回りながら、最先端の再構成品質を維持する。

ABSTRACT

3D Morphable Models (3DMMs) are statistical models that represent facial texture and shape variations using a set of linear bases and more particular Principal Component Analysis (PCA). 3DMMs were used as statistical priors for reconstructing 3D faces from images by solving non-linear least square optimization problems. Recently, 3DMMs were used as generative models for training non-linear mappings (\ie, regressors) from image to the parameters of the models via Deep Convolutional Neural Networks (DCNNs). Nevertheless, all of the above methods use either fully connected layers or 2D convolutions on parametric unwrapped UV spaces leading to large networks with many parameters. In this paper, we present the first, to the best of our knowledge, non-linear 3DMMs by learning joint texture and shape auto-encoders using direct mesh convolutions. We demonstrate how these auto-encoders can be used to train very light-weight models that perform Coloured Mesh Decoding (CMD) in-the-wild at a speed of over 2500 FPS.

研究の動機と目的

• 完全結合層やUVマップ上での2D畳み込みに依存する従来の3D顔再構成手法の限界を克服すること。これにより、高いパラメータ数と計算コストが生じる。
• 幾何的ディープラーニングを用いた3Dメッシュ上での形状とテクスチャの同時モデリングを可能にする非線形3DMMを開発すること。これにより、顔の幾何と外観をより効率的かつ直感的にモデリングできる。
• 最小限のモデルサイズ（17 MB）と高い推論速度（2500 FPS以上）を実現しながら、屋外画像（in-the-wild）においても高い再構成精度を維持すること。
• メッシュ畳み込みネットワークが、画像特徴から高密度3D顔メッシュへの複雑な非線形写像を効果的に学習できることを示し、表現力と効率性の点で線形PCAベースのモデルを上回ること。

提案手法

• 2D画像エンコーダーが特徴を抽出し、三角形メッシュ上の3D畳み込み層を用いてメッシュドメイン上で直接3D形状とテクスチャを再構成するカラーメッシュデコーダーを備えた、新しいエンコーダー・デコーダー構造を提案する。
• グラフ畳み込みネットワーク（GCNs）をメッシュトポロジーに適応させたメッシュ畳み込みを用い、メッシュ表面に沿って頂点特徴を局所的かつ空間的に注意を払った形で処理することで、局所的で空間に配慮した特徴学習を可能にする。
• 共有された潜在表現から形状とテクスチャを同時に再構成するためのジョイントオートエンコーダーを訓練し、微分可能なメッシュレンダラーや知覚的損失を用いて高精細な外観を維持する。
• わずか17 MBのパラメータ数を有するコンactなメッシュデコーダーを採用し、CPU上で1フレームあたり0.367 ms（2500 FPS）の推論速度を達成。2D畳み込みや完全結合層を用いた従来手法よりも顕著に高速である。
• 密な対応推定（例：Densereg やランドマーク検出）を用いてメッシュベースの特徴学習を監視し、弱い教師信号によるエンドツーエンド学習を可能にする。
• 頂点位置とテクスチャのL2損失に加え、事前学習済みVGGネットワークからの知覚的損失を組み合わせた新しい損失関数を導入し、視覚的リアリズムと幾何的正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 メッシュ畳み込みネットワークは、メッシュドメイン上で形状とテクスチャを同時にモデリングする非線形な3DMMを効果的に学習できるか？
• RQ2 このようなメッシュベースのデコーダーは、最小限のモデルサイズで高い再構成精度を維持しながら、リアルタイム性能（例：2500 FPS以上）を達成できるか？
• RQ3 UVマップ上での2D畳み込みや完全結合層を用いた従来手法と比較して、メッシュベース非線形3DMMの速度、精度、パラメータ効率の点での性能はどのように異なるか？
• RQ4 本手法は、事前アラインメントや制御されたキャプチャデータを必要とせずに屋外画像に一般化可能か？また、ポーズや表情の変化に対してどれほど頑健か？

主な発見

• 提案されたカラーメッシュデコーダー（CMD）は、CPU上で1フレームあたり0.367 ms（2500+ FPS）のデコーディング速度を達成し、すべてのベースライン手法を上回る推論速度を実現した。
• CMDモデルはわずか17 MBのコンactなサイズであり、高い表現力にもかかわらず、MoFAで用いられる線形形状基底（120 MB）の約1/7にまで小さく抑えられた。
• Florenceデータセットでは、PRNet や VRN と同等の再構成精度を達成し、ヨー角の変化に対しても安定した性能を示した。特にプロファイルビューでは、3DDFA や VRN を上回った。
• Florenceデータセットにおける定量的評価では、ポーズ変化下でも低い正規化平均誤差（NME）を維持しており、PRNetと同等の性能を示した。プロファイル状況では3DDFA や VRN より優れた性能を示した。
• 視覚的比較では、再構成された3D顔がリアルな表情とテクスチャの詳細を保持しており、色付き頂点が顔のダイナミクスを明確に表現していた。
• N-3DMM や MoFA よりも顕著に高速かつ小型でありながら、すべての回帰ベースのベースライン（例：[36], [28], [35]）を上回る再構成品質を達成した。