[論文レビュー] Face Alignment Assisted by Head Pose Estimation

Heng Yang, Wenxuan Mou+4 more|arXiv (Cornell University)|Jul 11, 2015

Face recognition and analysis参考文献 27被引用数 18

ひとこと要約

本稿では、深層畳み込みニューラルネットワーク（ConvNet）を用いた明示的なヘッドポーズ推定により、段階的顔関係付けの教師あり初期化手法を提案する。推定されたヘッドポーズに基づいて3次元顔形状を投影するか、トレーニングデータから類似度が近い形状を検索することで、顔の姿勢が大きく変化する状況下でもロバストな関係付けを実現する。300Wデータセットにおいて失敗ケースを50%削減しながら、競争力のある性能を達成した。

ABSTRACT

In this paper we propose a supervised initialization scheme for cascaded face alignment based on explicit head pose estimation. We first investigate the failure cases of most state of the art face alignment approaches and observe that these failures often share one common global property, i.e. the head pose variation is usually large. Inspired by this, we propose a deep convolutional network model for reliable and accurate head pose estimation. Instead of using a mean face shape, or randomly selected shapes for cascaded face alignment initialisation, we propose two schemes for generating initialisation: the first one relies on projecting a mean 3D face shape (represented by 3D facial landmarks) onto 2D image under the estimated head pose; the second one searches nearest neighbour shapes from the training set according to head pose distance. By doing so, the initialisation gets closer to the actual shape, which enhances the possibility of convergence and in turn improves the face alignment performance. We demonstrate the proposed method on the benchmark 300W dataset and show very competitive performance in both head pose estimation and face alignment.

研究の動機と目的

• 大規模なヘッドポーズ変動下で最先端の顔関係付け手法が示す高い失敗率を是正すること。
• 平均値またはランダム初期化をポーズに配慮した初期化に置き換えることで、段階的顔関係付けの性能を向上させること。
• 制約のない環境下でも信頼性の高いヘッドポーズ推定を実現する深層畳み込みニューラルネットワーク（ConvNet）の開発。
• ポーズに基づく初期化が収束性および関係付け精度を向上させること、特に困難なポーズにおいて顕著な向上が得られることを示すこと。
• 提案された初期化スキームが、さまざまな段階的顔関係付けフレームワークに一般化可能であることを示すこと。

提案手法

• 2次元顔画像からヘッドポーズ（ヨー、ピッチ、ロール）を直接推定する深層畳み込みニューラルネットワーク（ConvNet）をトレーニングする。
• 推定されたヘッドポーズを用いて、標準的な3次元顔形状（3次元ランドマークを有する）を検出された顔のバウンディングボックス内に2次元画像平面に投影する。
• 代替的な初期化スキームとして、3次元ポーズ空間におけるヘッドポーズ距離に基づいてトレーニングセットから最近傍の形状を取得する。
• 性能評価のため、提案された初期化をロバスト段階的ポーズレジリション（RCPR）フレームワークに統合する。
• 両方の初期化スキームを300Wベンチマークで評価し、失敗率と関係付け精度を比較する。
• Viola-JonesやHeadHunterからのタイトなバウンディングボックスを用いた、さまざまな顔検出条件でのテストを通じて、ロバスト性を評価する。

実験結果

リサーチクエスチョン

• RQ1 明示的なヘッドポーズ推定は、大規模なポーズ変動下における段階的顔関係付けの信頼性を向上させ得るか？
• RQ2 平均値またはランダム初期化と比較して、ポーズに基づく初期化は失敗ケースを減少させるか？
• RQ3 さまざまな顔検出スキーム下で、ポーズに基づく初期化の性能は最先端の顔関係付け手法と比較してどうなるか？
• RQ4 提案された初期化スキームは、他の段階的顔関係付けフレームワークへも一般化可能か？
• RQ5 ヘッドポーズ推定の精度が最終的な関係付け性能に与える影響は何か？

主な発見

• 3次元形状投影初期化を用いることで、失敗ケース（関係付け誤差 > 0.1）を130件から69件に削減し、50%の削減を達成した。
• 最近傍初期化スキームでも失敗ケースは130件から72件に削減され、両方のポーズベース初期化戦略において一貫した改善が確認された。
• ヘッドポーズ推定モデルは制約のない顔画像において4°の絶対平均誤差を達成し、信頼性の高い初期化を可能にした。
• SDM、IFA、LBF、CFAN、TCDCNを含む最近年の最先端顔関係付けモデルと比較しても、競争力のある性能を達成した。
• HeadHunter顔検出器を用いたテストでは、よりタイトで変動の大きいバウンディングボックスでも安定した性能を維持し、優れたロバスト性を示した。
• 全パイプラインは1枚あたり3.8ms（ポーズ推定：0.3ms、関係付け：3.5ms）で実行可能であり、リアルタイム実行が可能であることが示された。