[論文レビュー] Towards Fast, Accurate and Stable 3D Dense Face Alignment

Jianzhu Guo, Xiangyu Zhu+4 more|arXiv (Cornell University)|Sep 21, 2020

Face recognition and analysis参考文献 59被引用数 31

ひとこと要約

3DDFA-V2は、メタ結合最適化、ランドマーク回帰正則化、および3D支援の短編動画合成を用いた高速な3DMMパラメータ回帰により、CPU上で50fps超を達成し、重いモデルを上回ることで、3D密顔配列の速度・精度・安定性のバランスを取る。

ABSTRACT

Existing methods of 3D dense face alignment mainly concentrate on accuracy, thus limiting the scope of their practical applications. In this paper, we propose a novel regression framework named 3DDFA-V2 which makes a balance among speed, accuracy and stability. Firstly, on the basis of a lightweight backbone, we propose a meta-joint optimization strategy to dynamically regress a small set of 3DMM parameters, which greatly enhances speed and accuracy simultaneously. To further improve the stability on videos, we present a virtual synthesis method to transform one still image to a short-video which incorporates in-plane and out-of-plane face moving. On the premise of high accuracy and stability, 3DDFA-V2 runs at over 50fps on a single CPU core and outperforms other state-of-the-art heavy models simultaneously. Experiments on several challenging datasets validate the efficiency of our method. Pre-trained models and code are available at https://github.com/cleardusk/3DDFA_V2.

研究の動機と目的

• 精度を犠牲にせず、3D密顔アライメントの推論時間を削減する。
• 3D顔再構成中の動画フレーム間の安定性を向上させる。
• 高速パラメータ回帰と3D対応のデータ拡張の両方を活用する学習戦略を開発する。
• 回帰を正確な3DMMパラメータへ導く正則化を導入する。

提案手法

• MobileNetのような軽量バックボーンを用いて、コンパクトな3DMMパラメータセットを回帰する。
• kステップ先を見通すメタ訓練ループで、速いWPDCとVDCを組み合わせ、より良いコストを選択するメタ結合最適化を導入する。
• 62個のパラメータの重みを計算するために一度だけ頂点を再構築する、WPDCの高速実装であるfWPDCを提案する。
• 補助的な2Dランドマーク回帰タスクを介してパラメータ学習を導くランドマーク回帰正則化を追加する。
• トレーニングの安定性のために、静止画像を短い合成動画へ変換する3D支援の短編動画合成を開発する。

実験結果

リサーチクエスチョン

• RQ1 軽量なネットワークが小さな3DMMパラメータセットを回帰して、CPU上でリアルタイムの3D密顔アライメントを、精度を犠牲にせずに達成できるか？
• RQ2 メタ結合最適化は、標準的な結合最適化に比べて収束と最終精度を確実に改善するか？
• RQ3 ランドマーク回帰正則化は3DMMパラメータ回帰の精度を改善するか？
• RQ4 訓練中の3D支援短編動画合成は、ビデオ列における時間的安定性を改善するか？

主な発見

• 3DDFA-V2は単一CPUコアで50fps超、複数CPUコアでは130fps超で動作します。
• 厳しい計算制約下で最先端の精度を達成し、PRNetや3DDFA系の重いモデルを主要なベンチマークで上回ります。
• メタ結合最適化を伴う高速WPDC（fWPDC）は、VDCや通常の結合最適化と比較して収束を加速し、NMEスコアを改善します。
• ランドマーク回帰正則化はランドマーク正則化アプローチより実測可能な精度向上をもたらし、頑健性を改善します。
• 3D支援短編動画合成は、ビデオベンチマークで時間的安定性を著しく向上し、ランダムなバッチ内回転を上回ります。