[論文レビュー] Effective face landmark localization via single deep network

Zongping Deng, Ke Li+3 more|arXiv (Cornell University)|Feb 9, 2017

Face recognition and analysis被引用数 10

ひとこと要約

本論文は、標準のCNNアーキテクチャの代わりに、3層のグループを3段積み重ねた構造（各グループは2つの畳み込み層とマックスプーリングを含む）を用いる1つの深層ネットワーク（SDN）を提案し、階層的に特徴を抽出する。限定的な訓練データのもとでも、独自のデータ拡張戦略と訓練技術を組み合わせることで、COFWおよび300-Wデータセットにおいて最先端の精度と速度を達成した。

ABSTRACT

In this paper, we propose a novel face alignment method using single deep network (SDN) on existing limited training data. Rather than using a max-pooling layer followed one convolutional layer in typical convolutional neural networks (CNN), SDN adopts a stack of 3 layer groups instead. Each group layer contains two convolutional layers and a max-pooling layer, which can extract the features hierarchically. Moreover, an effective data augmentation strategy and corresponding training skills are also proposed to over-come the lack of training images on COFW and 300-W da-tasets. The experiment results show that our method outper-forms state-of-the-art methods in both detection accuracy and speed.

研究の動機と目的

• 限定的な訓練データにおける顔ランドマーク検出の課題に応えるために、より効果的なディープラーニング手法の開発を目的とする。
• 既存のCNNベースの顔アライメント手法と比較して、検出精度と推論速度の両方を向上させることを目的とする。
• COFWおよび300-Wデータセットにおけるデータ不足を、効果的なデータ拡張および訓練戦略によって克服することを目的とする。
• マックスプーリングに続く単一の畳み込み層に依存しない、階層的に顔の特徴を捉える深層ネットワークアーキテクチャの設計を目的とする。

提案手法

• 提案されたSDNは、標準のCNNブロックの代わりに、3つの3層グループのスタックを採用し、各グループは2つの畳み込み層とその後に続くマックスプーリング層から構成される。
• 各層グループは、低レベルから高レベルの顔の表現へと段階的に特徴を抽出できるように設計されている。
• COFWおよび300-Wデータセットにおける汎化性能の向上を目的として、独自のデータ拡張戦略が導入された。
• データ不足の下での最適化の安定化とモデル収束の向上を図るために、特別な訓練技術が適用された。
• 入力画像から直接68個の顔のキーポイント座標を予測できるように、エンドツーエンドで学習された。
• 限定的な実際のサンプルしか利用できない状況でも、階層的特徴学習と拡張データを活用することで過学習を回避した。

実験結果

リサーチクエスチョン

• RQ1 限定的な訓練データのもとで、既存のマルチステージまたはマルチブランチCNNと比較して、1つの深層ネットワークアーキテクチャが顔ランドマーク検出で優れた性能を発揮できるか？
• RQ2 標準のCNNブロックと比較して、スタックされた3層グループ設計は、階層的な顔の特徴をどれほど効果的に捉えられるか？
• RQ3 データ拡張および特別な訓練戦略は、COFWや300-Wのような小規模な顔ランドマークデータセットにおいて、どれほど性能を向上させられるか？
• RQ4 提案手法は、最先端のアプローチと比較して、より高い精度とより速い推論速度を達成できるか？

主な発見

• SDN手法は、検出精度の観点から、COFWおよび300-Wベンチマークデータセットにおいて最先端の性能を達成した。
• モデルは優れた推論速度を示しており、リアルタイム応用に適している。
• 提案されたデータ拡張および訓練戦略は、限定的な訓練データにおける過学習を効果的に緩和した。
• スタックされた層グループによる階層的特徴抽出は、標準のCNNアーキテクチャと比較して、ランドマーク検出の精度を向上させた。
• COFWデータセットにおいて、平均誤差と失敗率の両面で、既存のSOTA手法を上回った。