[論文レビュー] Deep Cascaded Regression for Face Alignment

Hanjiang Lai, Shengtao Xiao+4 more|arXiv (Cornell University)|Oct 30, 2015

Face recognition and analysis参考文献 44被引用数 19

ひとこと要約

本稿では、顔のアライメントのための高 discriminative な shape-indexed 特徴を学習するために CNN を用いたエンド・ツー・エンドのディープ・カスケード回帰フレームワークを提案する。深層特徴学習と shape-indexed プーリング、初期化のための確率マスクを統合することにより、ベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

We propose a novel cascaded regression framework for face alignment based on a deep convolutional neural network (CNN). In most existing cascaded regression methods, the shape-indexed features are either obtained by hand-crafted visual descriptors or by leaning from the shallow models. This setting may be suboptimal for the face alignment task. To solve this problem, we propose an end-to-end CNN architecture to learn highly discriminative shape-indexed features. First, our deep architecture encodes the image into high-level feature maps in the same size of the image via three main operations: convolution, pooling and deconvolution. Then, we propose Shape-Indexed Pooling to extract the deep features from these high level descriptors. We refine the shape via sequential regressions by using the deep shape-indexed features, which demonstrates outstanding performance. We also propose to learn the probability mask for each landmark that can be used to choose the initialization from the shape space. Extensive evaluations conducted on several benchmark datasets demonstrate that the proposed deep framework shows significant improvement over the state-of-the-art methods.

研究の動機と目的

• 既存のカスケード回帰手法における手作業で設計された、もしくは浅い学習による shape-indexed 特徴の性能が最適でない問題を克服すること。
• 画像表現と形状の微調整を同時に学習するエンド・ツー・エンドのディープラーニングアーキテクチャを構築すること。
• shape-indexed プーリングを通じて空間的に注意を払った特徴を学習することにより、ランドマークの局所化精度を向上させること。
• 形状空間における各ランドマークのための確率マスクを学習することで、初期化のロバスト性を向上させること。

提案手法

• 入力画像のサイズに一致する高レベルの特徴マップを生成するために、畳み込み、プーリング、デコンボリューションを用いたディープ CNN アーキテクチャの設計。
• 現在の形状推定に特化して、高レベルの記述子から深層特徴を抽出するための Shape-Indexed Pooling の導入。
• 深層 shape-indexed 特徴を用いて逐次的回帰を適用し、顔のランドマーク座標を繰り返し微調整すること。
• 各ランドマークの初期化をガイドするための確率マスクを学習し、回帰における収束性とロバスト性を向上させること。
• 特徴学習と形状回帰を同時に最適化できるように、ネットワーク全体をエンド・ツー・エンドで訓練すること。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのディープ特徴学習は、手作業で設計された特徴や浅い特徴と比較して、顔のアライメントにおける shape-indexed 特徴表現を改善できるか？
• RQ2 深層 CNN アーキテクチャに shape-indexed プーリングを統合すると、ランドマークの局所化精度にどのような影響を与えるか？
• RQ3 ランドマークのための確率マスクを学習することで、初期化および全体的なアライメント性能にどの程度向上が見られるか？
• RQ4 提案されたカスケード回帰フレームワークは、標準ベンチマークにおいて最先端の手法を上回る性能を発揮するか？

主な発見

• 提案されたディープ・カスケード回帰フレームワークは、複数のベンチマークデータセットにおいて、既存の最先端手法を顕著に上回る性能を達成した。
• エンド・ツー・エンドのディープ特徴学習と shape-indexed プーリングの統合により、より判別力があり空間的に正確なランドマーク表現が得られた。
• ランドマーク初期化のための学習済み確率マスクの使用により、回帰におけるロバスト性と収束性が向上した。
• 広範な評価から、本手法のアライメント精度の優位性が確認され、異なるデータセットにおいて一貫した向上が得られた。