[論文レビュー] Coarse-to-fine Face Alignment with Multi-Scale Local Patch Regression

Zhiao Huang, Erjin Zhou+1 more|arXiv (Cornell University)|Nov 16, 2015

Face recognition and analysis参考文献 1被引用数 14

ひとこと要約

本論文では、マルチスケールの局所パッチ回帰を用いた粗々から細かい顔のアライメント手法を提案する。初期のグローバルなディーブニューラルネットワークがランドマークを予測し、その後、マルチスケールの局所パッチを用いた反復的精錬によって精度を向上させる。この手法は300-Wデータセットで最先端の性能を達成し、全テストセットにおいて平均誤差を4.54ノーマライズドピクセルまで低減した。

ABSTRACT

Facial landmark localization plays an important role in face recognition and analysis applications. In this paper, we give a brief introduction to a coarse-to-fine pipeline with neural networks and sequential regression. First, a global convolutional network is applied to the holistic facial image to give an initial landmark prediction. A pyramid of multi-scale local image patches is then cropped to feed to a new network for each landmark to refine the prediction. As the refinement network outputs a more accurate position estimation than the input, such procedure could be repeated several times until the estimation converges. We evaluate our system on the 300-W dataset [11] and it outperforms the recent state-of-the-arts.

研究の動機と目的

• 大規模なポーズ、照明、表情の変動がある屋外環境下でも顔のランドマーク局所化を向上させること。
• 段階的精錬を経て精度を向上させるエンドツーエンドの粗々から細かいフレームワークを構築すること。
• マルチスケールの局所画像パッチを活用し、各ランドマークに対して高精度な局所的回帰を可能にすること。
• 300-Wベンチマークデータセットにおいて、既存の最先端手法を上回ること。

提案手法

• 全顔画像を処理するグローバルな畳み込みニューラルネットワークが、初期のランドマーク推定を生成する。
• 推定されたスケールとインプレーン回転を用いて顔を幾何学的に正規化し、ポーズの変動を補正する。
• 各ランドマークを中心とするマルチスケールの局所画像パッチを処理する一連の精錬ネットワークを用いて、位置推定を改善する。
• 各精錬ネットワークは、マルチスケールのパッチのピラミッドを入力とし、より正確なランドマーク位置を出力する。
• 精錬プロセスは反復的に適用され、収束するまで継続し、最終的な予測は複数のネットワークの平均化を行う。
• 線形最小二乗回帰を用いて、MFLDデータセットの81点ランドマークを300-W基準の68点ランドマークに変換して評価に使用する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールの局所パッチ回帰を用いた粗々から細かい回帰パイプラインは、屋外顔画像におけるランドマーク局所化精度を向上させることができるか？
• RQ2 一回の段階的回帰と比較して、局所パッチを用いた反復的精錬は、局所化誤差をどの程度低減できるか？
• RQ3 マルチスケールのパッチの使用は、ポーズ、照明、表情の変動に対するロバスト性を向上させるか？
• RQ4 提案手法は、300-Wベンチマークにおいて、既存の最先端手法をどの程度上回るか？

主な発見

• 粗々から細かいパイプラインにより、ランドマーク局所化精度が顕著に向上し、MFLDテストセットではノーマライズド平均誤差が5.93から4.15に低下した。
• 精錬プロセスにより各段階で性能が向上し、3回の精錬ステップを経て、誤差は初期の5.93から4.15に減少した。
• 300-Wデータセットでは、全テストセットでノーマライズド平均誤差4.54を達成し、すべての先行最先端手法を上回った。
• 最も挑戦的なiBUGサブセットに対しても、7.46ノーマライズドピクセルの平均誤差を維持し、高い精度を発揮した。
• 結果から、マルチスケールの局所パッチ回帰が、大規模な変動下でもロバストで高精度なランドマーク精錬を可能にすることが示された。
• 精錬ネットワークの再帰的適用により収束が達成され、一貫した性能向上が得られた。