[論文レビュー] Face Alignment Robust to Pose, Expressions and Occlusions

Vishnu Naresh Boddeti, Myung-Cheol Roh+3 more|arXiv (Cornell University)|Jul 19, 2017

Face recognition and analysis参考文献 29被引用数 4

ひとこと要約

本論文では、極端な変動下でも顔の形状、ポーズ、表情、および二値の遮蔽ラベルを同時に推定できる、ロバストな制約付き局所モデルのアンサンブル（ERCLM）を提案する。離散化されたポーズ／表情／遮蔽空間における仮説とテストの探索と、遮蔽に配慮したランドマーク検出を用いたロバストな形状適合により、遮蔽、ポーズ、表情の変動がある実世界の顔画像において、最先端の精度と安定性を達成する。

ABSTRACT

We propose an Ensemble of Robust Constrained Local Models for alignment of faces in the presence of significant occlusions and of any unknown pose and expression. To account for partial occlusions we introduce, Robust Constrained Local Models, that comprises of a deformable shape and local landmark appearance model and reasons over binary occlusion labels. Our occlusion reasoning proceeds by a hypothesize-and-test search over occlusion labels. Hypotheses are generated by Constrained Local Model based shape fitting over randomly sampled subsets of landmark detector responses and are evaluated by the quality of face alignment. To span the entire range of facial pose and expression variations we adopt an ensemble of independent Robust Constrained Local Models to search over a discretized representation of pose and expression. We perform extensive evaluation on a large number of face images, both occluded and unoccluded. We find that our face alignment system trained entirely on facial images captured "in-the-lab" exhibits a high degree of generalization to facial images captured "in-the-wild". Our results are accurate and stable over a wide spectrum of occlusions, pose and expression variations resulting in excellent performance on many real-world face datasets.

研究の動機と目的

• ポーズ、表情、遮蔽、形状推定がお互いに依存するという『ニワトリとタマゴの問題』を解消すること。
• 制約のない『実世界』環境における部分的遮蔽、未知の顔のポーズ、多様な表情に対してロバストな手法を開発すること。
• 各ランドマークに対して二値の遮蔽ラベルを明示的に推定することで、認識や3次元モデリングなどの後続タスクに役立つ補助情報を提供すること。
• 「ラボ内」データのみで学習することにより一般化性能を向上させつつ、「実世界」データセットにおいても優れた性能を達成すること。
• 曖昧なアライメント状況において、システムレベルの意思決定を強化できる複数の仮説出力を可能にすること。

提案手法

• 顔のポーズ、表情、二値の遮蔽ラベルの離散化された空間をカバーする、独立したロバストな制約付き局所モデル（RCLM）のアンサンブルを用いる。
• 仮説とテストの戦略を適用：ランダムにサンプリングされたランドマーク検出応答の部分集合に形状をフィットさせることで仮説を生成し、アライメントの品質によって各仮説を評価する。
• ランドマークごとの二値ラベルを用いた遮蔽推論を導入し、形状適合中に、どの構成が顕在する顔の構造を最もよく説明するかをテストすることで、遮蔽状態を推定する。
• ロバストさと効率のバランスを考慮し、ランダム、グリーディ、信頼度ベースの3つのサンプリング戦略を用いてランドマーク仮説を生成する。
• 最良の仮説を最終的な形状リファインメント段階で改善して、アライメント精度を向上させる。
• CLMに基づく最適化の本質的ロバスト性を活用し、回帰ベースの手法とは異なり、初期バウンディングボックスが悪くても耐性を持つ。

実験結果

リサーチクエスチョン

• RQ1 極端な変動下でも、形状、ポーズ、表情、遮蔽ラベルを同時にかつロバストに推定できる顔アライメントシステムは構築可能か？
• RQ2 形状ベースのアライメントフレームワークに遮蔽推論を統合することで、部分的遮蔽のある顔画像の性能をどのように向上できるか？
• RQ3 『ラボ内』データでの学習が、未知のポーズ、表情、遮蔽を伴う『実世界』画像に効果的に一般化できるか？
• RQ4 ポーズ／表情／遮蔽空間の離散化された仮説とテストのアプローチは、これらの要因を独立に扱う従来のパイプラインを上回るか？
• RQ5 複数のアライメント仮説は、曖昧または遮蔽のある状況において、どの程度システム全体のロバスト性を向上させられるか？

主な発見

• ERCLMは、重度の遮蔽とポーズ変動を伴うデータセットにおいて、最先端の顔アライメント性能を達成し、優れた精度と安定性を示した。
• 「ラボ内」データでのみ学習したにもかかわらず、「実世界」画像への一般化が良好に機能しており、強力なドメイン一般化能力を示している。
• ERCLMが生成する上位3つの仮説には、テストした失敗ケースの100％で正しいアライメントが含まれており、正解はしばしば2番目または3番目にランク付けされた。
• 表IVの結果から、ランドマーク仮説生成にランダムサンプリングを用いる方が、グリーディまたは信頼度ベースのサンプリングに比べて検出器の誤りに対してよりロバストであることが示された。
• ERCLMは回帰ベースの手法に比べて計算コストが高く（1枚あたり約10秒）、その点は欠点ではあるが、初期化に対するロバスト性と並列処理の可能性がそれを補っており、実用的である。
• 本システムは各ランドマークに対して二値の遮蔽ラベルを出力しており、3次元ヘッドポーズ推定や顔の表情認識などの後続タスクに貴重な補助情報を提供する。