[論文レビュー] Facial Landmarks Detection by Self-Iterative Regression based Landmarks-Attention Network

Tao Hu, Honggang Qi+2 more|arXiv (Cornell University)|Mar 18, 2018

Face recognition and analysis参考文献 38被引用数 7

ひとこと要約

本稿では、1つの深層リグレッサーを繰り返し適用して予測を段階的に改善する自己反復回帰（SIR）フレームワークと、ランドマークに注目するアテンションネットワーク（LAN）を提案する。複数の段階的なリグレッサーを用いる従来のアプローチとは異なり、本手法は、計算コストが高く、誤差の伝搬に弱いという課題を克服し、わずか372万パラメータで最先端の性能を達成する。モデルの複雑さとメモリ使用量を顕著に削減しながらも、高い精度を維持する。

ABSTRACT

Cascaded Regression (CR) based methods have been proposed to solve facial landmarks detection problem, which learn a series of descent directions by multiple cascaded regressors separately trained in coarse and fine stages. They outperform the traditional gradient descent based methods in both accuracy and running speed. However, cascaded regression is not robust enough because each regressor's training data comes from the output of previous regressor. Moreover, training multiple regressors requires lots of computing resources, especially for deep learning based methods. In this paper, we develop a Self-Iterative Regression (SIR) framework to improve the model efficiency. Only one self-iterative regressor is trained to learn the descent directions for samples from coarse stages to fine stages, and parameters are iteratively updated by the same regressor. Specifically, we proposed Landmarks-Attention Network (LAN) as our regressor, which concurrently learns features around each landmark and obtains the holistic location increment. By doing so, not only the rest of regressors are removed to simplify the training process, but the number of model parameters is significantly decreased. The experiments demonstrate that with only 3.72M model parameters, our proposed method achieves the state-of-the-art performance.

研究の動機と目的

• 段階的リグレッションの限界、特に計算コストの高さと誤差伝搬によるロバスト性の欠如を是正すること。
• 複数のリグレッサーを1つの自己反復リグレッサーに置き換えることで、深層学習ベースの顔ランドマーク検出におけるモデルの複雑さとパラメータ数を低減すること。
• 専用のアテンションメカニズムにより、個々のランドマークの局所的外観特徴に注目することで、特徴表現を向上させること。
• 複数のイテレーションにわたり同じリグレッサーを再利用することで、学習と推論を簡素化すること。

提案手法

• SIRフレームワークは、1つの深層リグレッサーを訓練し、粗い段階から細かい段階へと下り坂方向を学習させ、同じモデルを用いてパラメータを繰り返し更新する。
• Landmarks-Attention Network (LAN) は、各ランドマークの周囲から独立して局所的特徴を抽出し、個々のランドマークの識別力を高める。
• 各ランドマークの特徴は並列処理され、その後統合されて全体の位置補正を予測する。
• 訓練段階では、パラメータ空間におけるランダムなガウスサンプリングを用い、多様な初期化をシミュレートし、ロバスト性を向上させる。
• 推論段階では、同じリグレッサーを繰り返し呼び出し、各呼び出しでランドマーク座標を精錬する。
• 予測されたランドマークオフセットに対して回帰損失を用いて、エンド・トゥ・エンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 1つの自己反復リグレッサーは、複数の段階的リグレッサーと同等またはそれ以上の性能を達成できるか？
• RQ2 アテンションメカニズムによる局所的ランドマーク特徴への注目が、検出精度の向上とモデル複雑度の低減にどのように寄与するか？
• RQ3 精度とメモリ効率の観点から、自己反復精錬プロセスにおける最適なイテレーション数は何か？
• RQ4 パラメータ空間におけるサンプリング戦略の選択が、SIRフレームワークのロバスト性と収束性に与える影響は何か？

主な発見

• 提案手法SIRは、300-Wベンチマークで正規化平均誤差（NME）5.04%を達成し、ベースラインの段階的リグレッション手法（6.23%）およびより大きなモデルを用いた最先端手法を上回る性能を示した。
• わずか372万パラメータで、SIRモデルのメモリ使用量は15.6MBにとどまり、他の深層学習ベース手法（MDM：322.3MB、RAR：62.6MB以上）と比べ顕著に少ない。
• Landmarks-Attention Network (LAN) は、スタックドパッチ特徴抽出法（SIR-Stack）をはるかに上回り、個々のランドマーク特徴の独立学習の優位性を示した。
• イテレーション数を増やすことで、4回まで精度が向上し、以降は性能が安定化する。SIRは一定のメモリ使用量を維持するが、ベースラインCRはイテレーション数の増加に伴いメモリ使用量が増加する。
• ガウスサンプリングのハイパーパramータ選択に対してロバストであり、サンプリング分布のσ = 0.2で最適な性能が達成された。
• 定性的な結果から、HELEN、LFPW、IBUG、300-Wコンペティションセットを含む多様なデータセットにおいて、正確なランドマーク局所化が可能であることが示された。