[論文レビュー] On 3D Face Reconstruction via Cascaded Regression in Shape Space

Feng Liu, Dan Zeng+2 more|arXiv (Cornell University)|Sep 21, 2015

Face recognition and analysis参考文献 34被引用数 8

ひとこと要約

本稿では、外部のランドマーク検出器を用いて単一の2D画像から3D顔再構成を行うための段階的回帰手法を提案する。入力画像と同一のポーズおよび表情を持つ再構成が可能である。自動的に検出されたランドマークに摂動を加えて訓練することで、最先端の精度（BU3DFEで2.03% NPDE）を達成し、ランドマーク数や3D頂点密度の変動に対しても収束性と汎用性に優れることが示された。

ABSTRACT

Cascaded regression has been recently applied to reconstructing 3D faces from single 2D images directly in shape space, and achieved state-of-the-art performance. This paper investigates thoroughly such cascaded regression based 3D face reconstruction approaches from four perspectives that are not well studied yet: (i) The impact of the number of 2D landmarks; (ii) the impact of the number of 3D vertices; (iii) the way of using standalone automated landmark detection methods; and (iv) the convergence property. To answer these questions, a simplified cascaded regression based 3D face reconstruction method is devised, which can be integrated with standalone automated landmark detection methods and reconstruct 3D face shapes that have the same pose and expression as the input face images, rather than normalized pose and expression. Moreover, an effective training method is proposed by disturbing the automatically detected landmarks. Comprehensive evaluation experiments have been done with comparison to other 3D face reconstruction methods. The results not only deepen the understanding of cascaded regression based 3D face reconstruction approaches, but also prove the effectiveness of proposed method.

研究の動機と目的

• 2Dランドマーク数が3D顔再構成精度に与える影響を調査すること。
• 3D頂点数および形状カバレッジが再構成性能に与える影響を分析すること。
• 独立した自動ランドマーク検出と段階的回帰を用いた3D再構成の統合を可能にすること。
• 形状空間における段階的回帰の収束特性と計算効率を評価すること。
• 不完全なランドマーク検出を用いる場合のロバストネスを向上させる訓練戦略の開発

提案手法

• 外部検出器からの2Dランドマークを入力として受け入れるよう、[22]の段階的回帰フレームワークを見直し、入力画像のポーズおよび表情を保持する。
• 2段階の段階的回帰を採用：1つのレグレッサーが2Dランドマーク位置を更新し、もう1つのレグレッサーが形状空間における3D形状パラメータをレグレッションする。
• 訓練中に自動検出ランドマークに平均0、標準偏差σ=25のガウスノイズを追加するデータ拡張戦略を導入し、ロバストネスを向上させる。
• 真値ランドマーク（提案I）と摂動を加えた検出ランドマーク（提案II）の両方を用いてモデルを訓練し、後者の方が汎用性に優れていることが示された。
• 3D顔を統計的形状モデル（例：Basel Face Model）で表現し、形状パラメータをレグレッションすることで、高密度な3D顔幾何を再構成する。
• 正規化された1頂点あたりの深度誤差（NPDE）を用いて再構成誤差を測定し、|z*ₙ - ẑₙ| / (z*ₘₐₓ - z*ₘᵢₙ) で定義することで、異なるサンプル間の比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 2Dランドマークの数は、3D顔再構成の精度にどのように影響するか？
• RQ2 3D頂点数および再構成された3D顔の空間的カバレッジは、再構成品質にどのように影響するか？
• RQ3 独立した自動2Dランドマーク検出手法を段階的回帰ベースの3D顔再構成に効果的に統合できるか？
• RQ4 形状空間における段階的回帰の収束特性は何か？最適なパフォーマンスを得るには何回の反復が必要か？
• RQ5 訓練中に自動検出ランドマークに摂動を加えることで、ロバストネスおよび再構成精度が向上するか？

主な発見

• 2Dランドマーク数を増やすことで一般的に再構成精度が向上するが、顔の部位によってその恩恵の大きさは異なり、特に鼻および目の領域で最も顕著な向上が得られる。
• 追加のランドマークがなければ、3D顔モデルのカバレッジが広がるほど再構成精度が低下する傾向にあり、ランドマークと幾何の対応関係が極めて重要であることが示された。
• 入力ランドマークが同一であれば、特定の顔領域の再構成精度は、その領域内の頂点密度や領域外の頂点数に影響されない。
• 独立したランドマーク検出器を段階的回帰と組み合わせることは可能であり、特に摂動を加えたランドマークアノテーションを含む訓練データを用いることで、高い有効性を示す。
• 提案手法はBU3DFEデータセットで平均2.03% NPDEを達成し、SFS（4.89%）およびE-3DMM（3.10%）を上回り、最先端の性能を示した。
• 摂動を加えたランドマークで訓練することで、MAEが3.34 mm（原始的検出を用いた場合）から3.05 mmに低下し、データ拡張が検出誤差に対してロバストネスを向上させることが実証された。