[論文レビュー] Cascaded Regressor based 3D Face Reconstruction from a Single Arbitrary View Image.

Feng Liu, Dan Zeng+2 more|arXiv (Cornell University)|Sep 21, 2015

Face recognition and analysis参考文献 21被引用数 18

ひとこと要約

本論文は、2次元顔面特徴点から初期3次元顔モデルへの形状補正を逐次回帰することで、高価な最適化を回避し、任意の視点からの単一画像から3次元顔再構成を効率的かつ正確に行うための段階的レジレッサー手法を提案する。視界外の特徴点を欠損データとして扱うことで、多様な視点角度においても優れた性能を発揮し、BFMおよびBosphorusデータセットにおいて既存手法を上回る。

ABSTRACT

State-of-the-art methods reconstruct three-dimensional (3D) face shapes from a single image by fitting 3D face models to input images or by directly learning mapping functions between two-dimensional (2D) images and 3D faces. However, they are often difficult to use in real-world applications due to expensive online optimization or to the requirement of frontal face images. This paper approaches the 3D face reconstruction problem as a regression problem rather than a model fitting problem. Given an input face image along with some pre-defined facial landmarks on it, a series of shape adjustments to the initial 3D face shape are computed through cascaded regressors based on the deviations between the input landmarks and the landmarks obtained from the reconstructed 3D faces. The cascaded regressors are offline learned from a set of 3D faces and their corresponding 2D face images in various views. By treating the landmarks that are invisible in large view angles as missing data, the proposed method can handle arbitrary view face images in a unified way with the same regressors. Experiments on the BFM and Bosphorus databases demonstrate that the proposed method can reconstruct 3D faces from arbitrary view images more efficiently and more accurately than existing methods.

研究の動機と目的

• 正面顔画像を必要とする既存の3次元顔再構成手法の制限を解消すること。
• 一様な回帰フレームワークを用いて、任意の視点角度からの顔再構成を可能にすること。
• 大角度での視界外の顔面特徴点を処理する課題を、欠損データとしてモデル化することで克服すること。
• 実世界の制約環境での実装に適した、効率的かつ正確な手法を開発すること。

提案手法

• 3次元顔再構成をモデルフィッティングタスクではなく回帰問題として定式化し、段階的レジレッサーを用いて繰り返し形状を精緻化する。
• 標準的なモデルで3次元顔形状を初期化し、2次元入力特徴点と投影された3次元特徴点のずれに基づいて形状補正を適用する。
• さまざまな視点角度における3次元顔とそれに対応する2次元画像のデータセットを用いて、段階的レジレッサーを事前学習する。
• 非正面視点における遮蔽または視界外の特徴点を、回帰処理中に欠損データとして扱い、再構成プロセスの整合性を保つ。
• すべての視点角度で一貫したレジレッサーのセットを用い、視点別に最適化を行わず統一的な推論を可能にする。
• 2次元特徴点と3次元顔モデル間の幾何的整合性を活用し、3次元形状の反復的精緻化をガイドする。

実験結果

リサーチクエスチョン

• RQ1 段階的レジレッサー枠組みは、正面画像を必要とせず、単一の任意視点画像から正確な3次元顔再構成を達成できるか？
• RQ2 視界外の特徴点を欠損データとしてモデル化することで、大角度での再構成のロバスト性と正確性にどのような影響を与えるか？
• RQ3 オンライン最適化を伴わず、事前学習されたレジレッサーが多様な視点角度にどの程度一般化できるか？
• RQ4 本手法は、従来のモデルフィッティング法および直接マッピング法と比較して、正確性と効率性の面でどの程度優れているか？

主な発見

• 本手法は、BFMおよびBosphorusデータベースの両方において、最先端の手法を上回る高い再構成正確性を達成した。
• 高価なオンライン最適化を必要としないため、リアルタイム応用に適した効率的な3次元顔再構成が可能となった。
• 視界外の特徴点を欠損データとして扱うことで、1つの統一されたレジレッサー集合を用いて、任意の視点角度で一貫した性能を維持した。
• 段階的レジレッサー枠組みは、2次元特徴点のずれに基づくガイドにより、形状誤差を効果的に低減した。
• 従来の手法が特徴点の遮蔽により失敗しやすい大角度に対しても、本手法はロバストであることが示された。
• レジレッサーの事前学習により、推論が高速化され、最適化ベースの手法と比較して著しく実行時間が短縮された。