[論文レビュー] Simultaneous Facial Landmark Detection, Pose and Deformation Estimation under Facial Occlusion

Yue Wu, Chao Gou+1 more|arXiv (Cornell University)|Sep 23, 2017

Face recognition and analysis参考文献 23被引用数 19

ひとこと要約

本稿では、視認性の欠落下において、顔のランドマーク、ヘッドポーズ、顔面変形の相互依存関係を活用して、統合的で反復的なキャスケードフレームワークを提案する。明示的な視認性のモデル化とモデルベースのポーズ推定を統合することで、ベンチマークデータセット上で最先端の性能を達成し、部分的な顔の遮蔽が生じてもランドマーク検出精度を顕著に向上させる。

ABSTRACT

Facial landmark detection, head pose estimation, and facial deformation analysis are typical facial behavior analysis tasks in computer vision. The existing methods usually perform each task independently and sequentially, ignoring their interactions. To tackle this problem, we propose a unified framework for simultaneous facial landmark detection, head pose estimation, and facial deformation analysis, and the proposed model is robust to facial occlusion. Following a cascade procedure augmented with model-based head pose estimation, we iteratively update the facial landmark locations, facial occlusion, head pose and facial de- formation until convergence. The experimental results on benchmark databases demonstrate the effectiveness of the proposed method for simultaneous facial landmark detection, head pose and facial deformation estimation, even if the images are under facial occlusion.

研究の動機と目的

• 視認性の影響下で、顔のランドマーク、ヘッドポーズ、顔面変形の逐次的または独立的推定手法の限界を解消すること。
• ランドマーク、ポーズ、変形の間の結合的関係を活用する統合的フレームワークを構築し、推定精度を向上させること。
• 顔の視認性を明示的にモデル化し、ランドマーク検出およびポーズ推定の耐障害性を向上させること。
• 3次元アノテーションに依存しないように、学習ベースのランドマーク検出とモデルベースのポーズ・変形推定を統合すること。

提案手法

• 顔のランドマーク位置、ヘッドポーズ、顔面変形、視認性マスクを交互に反復的に精緻化する反復的キャスケード手順を用いる。
• 2次元ランドマークと3次元顔モデルを用いたモデルベースのヘッドポーズ推定部を統合し、ポーズ精度を向上させる。
• 各ランドマークの視認状態（可視／遮蔽）を明示的に推定し、推定をガイドする。
• 各イテレーションですべての変数を同時に更新する統合的最適化フレームワークを用いて、連合的関係を活用する。
• 視認性に配慮した特徴量とポーズ／変形の事前知識を統合した回帰ベースのランドマーク検出モデルを採用する。
• 各段階が直前の段階の予測結果を事前知識として用いる反復的精緻化を実行するキャスケード回帰戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 顔のランドマーク、ヘッドポーズ、変形の連合的推定は、逐次的または独立的推定手法と比較して性能向上をもたらすか？
• RQ2 明示的な視認性モデリングは、顔の遮蔽下におけるランドマーク検出およびポーズ推定の耐障害性をどのように向上させるか？
• RQ3 ポーズおよび変形の事前知識を組み込むことで、ランドマーク検出精度はどの程度向上するか？
• RQ4 3次元アノテーションを必要とせずに、モデルベースのポーズ推定アプローチを学習ベースのランドマーク検出と効果的に統合できるか？

主な発見

• 提案手法は、COFWデータセットにおいて6.40の正規化誤差（瞳間距離基準）を達成し、ベースラインのキャスケード回帰法（7.70）を上回る性能を示した。
• 視認性予測を追加するだけで、ランドマーク検出誤差は7.70から6.61に低下し、視認性モデリングの有効性が示された。
• 視認性、ポーズ、変形推定を含む完全なモデルは、COFWおよびMultiPIEデータセットの両方で反復処理において急速に収束し、最良の性能を達成した。
• MultiPIEデータセットでは、可視ランドマークのみを用いることで、ヨー角を約1.5°の平均絶対誤差で正確に推定した。
• 視認性を考慮することで、遮蔽されたランドマークをポーズフィッティングプロセスから除外したため、ヨー角誤差が26°から90°（真値）に顕著に低下した。
• 反復的キャスケードフレームワークは急速に収束し、ランドマーク検出およびポーズ推定の性能が5〜6イテレーション以内に安定した。