[論文レビュー] Deep Regression for Face Alignment

Baoguang Shi, Xiang Bai+2 more|arXiv (Cornell University)|Sep 18, 2014

Face recognition and analysis参考文献 29被引用数 23

ひとこと要約

本稿では、ドロップアウトを用いたバックプロパゲーションによる勾配逆伝播を用いて、グローバルリグレッサーとマルチステージのローカルリグレッサーを同時に最適化する、顔のアライメントのためのディープリグレッションフレームワークであるDeepRegを提案する。これにより、顔のランドマーク予測のバランスの取れた段階的改善が可能になる。本手法は、逐次的カスケード手法で一般的に見られる初期段階のリグレッサーが強すぎるのに対し、後続段階のリグレッサーが弱くなるという不均衡を回避することで、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

In this paper, we present a deep regression approach for face alignment. The deep architecture consists of a global layer and multi-stage local layers. We apply the back-propagation algorithm with the dropout strategy to jointly optimize the regression parameters. We show that the resulting deep regressor gradually and evenly approaches the true facial landmarks stage by stage, avoiding the tendency to yield over-strong early stage regressors while over-weak later stage regressors. Experimental results show that our approach achieves the state-of-the-art

研究の動機と目的

• 逐次的カスケードリグレッションにおける不均衡（初期段階のリグレッサーが強すぎるが、後続段階では弱い）を是正すること。
• ポーズ、表情、照明の変動といった制御不能な条件下でも、顔のランドマークの局所化精度を向上させること。
• すべての段階を逐次的に訓練するのでなく、同時に最適化するディープリグレッションアーキテクチャを開発すること。
• すべてのリグレッション段階におけるバイアスとバイアスのバランスを取ることで、ベンチマークデータセットで優れた性能を達成すること。

提案手法

• ネットワークアーキテクチャは、初期形状推定のためのグローバル層と、繰り返しの改善のためのT個のローカル層から構成される。
• グローバル層はグローバル画像特徴を用いて線形回帰により初期形状を予測する。
• 各ローカル層は、各ランドマークの周囲の形状インデックス付きローカル特徴を抽出し、線形リグレッサーを適用して形状の増分を予測する。
• 形状推定は反復的に更新される：$\mathbf{s}^{t} = \mathbf{s}^{t-1} + \mathbf{W}^{t}\boldsymbol{\upphi}^{t}$、ここで$\boldsymbol{\upphi}^{t}$はローカル特徴ベクトルである。
• すべてのリグレッションパラメータは、過学習を防ぎ一般化性能を向上させるためにドロップアウトを用いたバックプロパゲーションで同時に最適化される。
• 段階的訓練を避けるために、すべての段階を同時に学習することで、各段階の寄与がバランスされる。

実験結果

リサーチクエスチョン

• RQ1 共同最適化されたディープリグレッサーは、顔のアライメントにおいて、逐次的カスケードリグレッションよりも性能を向上させることができるか？
• RQ2 共同で訓練されたディープリグレッサーは、強い初期段階と弱い後続段階の間の不均衡を軽減するか？
• RQ3 グローバルリグレッサーの導入は、マルチステージ顔のアライメントにおける初期化と最終的な精度にどのように影響するか？
• RQ4 300-W や LFPW といった標準ベンチマークで、提案手法は既存の最先端手法を上回る性能を発揮するか？
• RQ5 共同学習は、同時にすべての段階におけるバイアスとバイアスの両方をどの程度低減するか？

主な発見

• 300-W Commonサブセットでは、DeepRegは平均誤差6.31を達成し、SequentialReg（6.57）およびDeepRegLocal（6.57）を上回った。
• 300-W Fullsetでは、DeepRegは平均誤差4.51を達成し、両方のベースライン（SequentialReg：4.67、DeepRegLocal：4.67）を上回った。
• LFPWデータセットでは、DeepRegは平均誤差5.11を達成し、SequentialReg（5.11）およびDeepRegLocal（5.11）を上回ったが、LBFに比べてわずかに劣った。
• 段階ごとの誤差曲線は、共同学習では推定誤差が段階的にかつ均等に減少するのに対し、逐次学習では初期段階で急激に減少し、後続段階で平坦化する傾向を示した。
• 実証的分析により、共同最適化がすべての段階にわたってバイアスとバイアスの両方をより均等に低減することが確認され、全体的な性能向上に寄与した。
• グローバルリグレッサーは初期化を著しく改善し、平均形状を初期化に用いるDeepRegLocalよりもDeepRegの優位性に寄与した。