[論文レビュー] Landmark Detection and 3D Face Reconstruction for Caricature using a Nonlinear Parametric Model

Hongrui Cai, Yudong Guo+2 more|arXiv (Cornell University)|Apr 20, 2020

Face recognition and analysis参考文献 57被引用数 6

ひとこと要約

本論文は、6,000枚のラベル付きコマicsを含む大規模データセットを用いて訓練された深層ニューラルネットワークにより、非線形パラメトリック3Dコマicsモデルを用いて、単一の2Dコマics画像から3次元顔の再構築と2次元ランドマーク検出をエンドツーエンドで行う、初めての手法を提示している。3次元形状と姿勢を回帰することで、手動でのランドマーク入力が不要でありながら、最先端の精度とリアルタイム推論（1枚あたり10ms）を達成し、速度とランドマークの正確性の両面で従来手法を上回っている。

ABSTRACT

Caricature is an artistic abstraction of the human face by distorting or exaggerating certain facial features, while still retains a likeness with the given face. Due to the large diversity of geometric and texture variations, automatic landmark detection and 3D face reconstruction for caricature is a challenging problem and has rarely been studied before. In this paper, we propose the first automatic method for this task by a novel 3D approach. To this end, we first build a dataset with various styles of 2D caricatures and their corresponding 3D shapes, and then build a parametric model on vertex based deformation space for 3D caricature face. Based on the constructed dataset and the nonlinear parametric model, we propose a neural network based method to regress the 3D face shape and orientation from the input 2D caricature image. Ablation studies and comparison with state-of-the-art methods demonstrate the effectiveness of our algorithm design. Extensive experimental results demonstrate that our method works well for various caricatures. Our constructed dataset, source code and trained model are available at https://github.com/Juyong/CaricatureFace.

研究の動機と目的

• コマicsにおける極端な幾何的変形と芸術的変異のため、2次元ランドマーク検出と3次元顔再構築の自動手法が不足しているという問題に取り組む。
• 標準の3次元モーファブルモデル（3DMM）では、誇張されたコマicsの形状に一般化できないという限界を克服する。
• 3次元コマics顔の特徴的な変形パターンを捉える、データ駆動型の非線形パラメトリックモデルを構築する。
• 2次元コマics画像から直接3次元形状と姿勢を回帰するエンドツーエンドのディープラーニングフレームワークを設計し、3次元投影による自動ランドマーク予測を可能にする。
• 学習とベンチマークのための、対応する3次元形状と68点のランドマークを備えた大規模かつ多様な2次元コマicsデータセットを構築する。

提案手法

• 著者らは、手動でラベル付けされた68点のランドマークを有する約6,000枚の2次元コマicsと、スタイル変換法により自動生成された約2,000枚の対応する3次元形状を有するデータセットを構築した。
• 3次元コマicsデータセットから、頂点ベースの変形空間において非線形パラメトリックモデルを学習し、標準の3DMMやFaceWarehouseモデルの範囲外の誇張された顔の形状を表現した。
• 入力の2次元コマics画像から特徴を抽出するために、エンコーダーとしてResNet-34バックボーンを用い、その後に非線形変形パrameterと顔の姿勢を回帰するデコーダーヘッドを接続した。
• ネットワークは、直接頂点座標を予測するのではなく、平均形状からの変形係数の形で3次元顔の形状を予測することで、極端な誇張に一般化しやすくなった。
• 推定されたカメラの姿勢を用いて、予測された3次元ランドマーク（68点）を画像平面に投影することで2次元ランドマークを回復した。
• この手法は完全にエンドツーエンドであり、推論時に真値の2次元ランドマークを必要としない。これは、従来の最適化ベースの手法とは異なり、推論段階で手動入力が不要であることを意味する。

実験結果

リサーチクエスチョン

• RQ1 1枚の2次元コマics画像から直接3次元コマics形状と姿勢を予測できる深層ニューラルネットワークを訓練できるか？これにより、自動ランドマーク検出が可能になるか？
• RQ2 標準の3次元顔モデルの外挿限界を超えて、コマics顔に特徴的な極端な幾何的歪みを表現できる非線形パラメトリックモデルをどのように構築できるか？
• RQ3 2次元ランドマークではなく、3次元形状と姿勢を回帰することで、スタイリッシュかつ誇張されたコマicsにおいて、よりロバストで正確なランドマーク検出が可能になるか？
• RQ4 本手法は、アーティスト固有の微調整やペアド正規コマicsデータを必要とせずに、多様な芸術的スタイルに一般化できるか？
• RQ5 手動でのランドマークアノテーションを入力として必要とする従来の最先端手法と比較して、本手法の正確性と速度はどのように異なるか？

主な発見

• 本手法は、推論時に真値の2次元ランドマークを用いていないにもかかわらず、投影された2次元ランドマークと真値との間で平均二乗誤差（MSE）が4.98に達し、3DMM（6.32）やFaceWarehouse（7.61）を上回った。
• 本手法は1推論あたり約10msで実行され、リアルタイム性能を達成した。これに対して、手動ランドマーク入力が必要な最先端手法[12]は12.5秒であった。
• 定性的な結果から、多様な芸術的スタイルや誇張度において、再構築された3次元メッシュが自然で、入力コマicsとよく一致していることが示された。
• アブレーションスタディにより、非線形パラメトリックモデルと3次元形状＋姿勢回帰パイプラインが性能向上に不可欠であることが確認され、部品を除去すると顕著な精度低下が生じた。
• 本手法は、ペアド正規コマics画像に依存しない多様なデータセットで学習されているため、異なるアーティストやスタイルに対しても良好に一般化された。
• 著者らは、GitHub上でデータセット、コード、およびトレーニング済みモデルを公開しており、再現性と今後のベンチマークに貢献している。