[論文レビュー] An All-In-One Convolutional Neural Network for Face Analysis

Rajeev Ranjan, Swami Sankaranarayanan+2 more|arXiv (Cornell University)|Nov 3, 2016

Face recognition and analysis参考文献 5被引用数 21

ひとこと要約

本論文は、顔検出、ランドマーク位置特定、ポーズ推定、性別および笑顔分類、年齢推定、顔認識/検証を同時に実行する1つのディープ畳み込みニューラルネットワーク（CNN）を提案する。ドメインベースの正則化と顔認識事前学習を活用したマルチタスク学習により、制約のないデータセットにおいて、すべてのタスクで最先端の性能を達成し、エンドツーエンドシステムにおける特徴の頑健性を著しく向上させ、誤差の蓄積を低減する。

ABSTRACT

We present a multi-purpose algorithm for simultaneous face detection, face alignment, pose estimation, gender recognition, smile detection, age estimation and face recognition using a single deep convolutional neural network (CNN). The proposed method employs a multi-task learning framework that regularizes the shared parameters of CNN and builds a synergy among different domains and tasks. Extensive experiments show that the network has a better understanding of face and achieves state-of-the-art result for most of these tasks.

研究の動機と目的

• 検出、アライメント、認識を別々のモジュールとして処理する従来の顔分析パイプラインの非効率性と誤差蓄積を解消すること。
• 顔アライメントや年齢推定などのタスクに限られたトレーニングデータがある課題を、関連するタスク間で共有される表現を活用することで克服すること。
• マルチタスク学習（MTL）フレームワークにおける共同学習によって、相乗効果を活用し、複数の顔分析タスクのパフォーマンスを向上させること。
• ドメイン固有の事前学習（例：顔認識で）とマルチデータセット正則化が、特徴学習と一般化性能を向上させることを示すこと。
• 複数の専用モデルに代わる1つの効率的なCNNアーキテクチャで構成される統合的でエンドツーエンドのシステムを構築すること。

提案手法

• グローバルおよびローカルな顔特徴を捉えるために、異なる深さで分岐する共有された低層とタスク固有のサブネットワークを持つ深層CNNアーキテクチャを設計する。
• 顔認識モデル（Sankaranarayanan et al. [41]）からの事前学習済み重みをネットワークの初期化に使用することで、頑健でドメイン特化された特徴初期化を提供する。
• すべてのタスクが低レベルの畳み込み層を共有するマルチタスク学習（MTL）フレームワークを実装し、パrameter正則化と一般化性能の向上を実現する。
• 複数のデータセット（例：AFLW、IJB-A、MS-Celeb-1M）で学習することでドメインベースの正則化を実施し、多様な顔の変動に強い性能を向上させる。
• 回帰タスク（例：ランドマーク、ポーズ、年齢）と分類タスク（例：性別、笑顔、ID）のためのタスク固有のヘッドを用い、初期層で学習された共有特徴を活用する。
• すべてのタスク固有の損失を組み合わせた共同損失関数を用いて、エンドツーエンドでネットワーク全体を微調整することで、特徴の相乗効果とパフォーマンス向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つのディープCNNが、タスク固有のモデルと比較して、複数の顔分析タスクを共同で学習し、性能を向上させることができるか？
• RQ2 共有表現とドメインベースの正則化を用いたマルチタスク学習は、制約のないデータセットにおいて、より良い一般化性能と頑健性をもたらすか？
• RQ3 顔認識タスクでの事前学習が、多様な顔分析タスクのパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 提案されたワンストップネットワークは、段階的な処理を排除することで、誤差蓄積をどのように低減し、エンドツーエンドのパフォーマンスをどのように向上させるか？
• RQ5 顔検出とアライメント、年齢と性別推定などの相関するタスク間の相乗効果を、共同学習によって効果的に活用できるか？

主な発見

• 提案モデルは、顔検出、ランドマーク位置特定、ポーズ推定、性別および笑顔分類、年齢推定、顔認識/検証のすべての評価タスクで最先端のパフォーマンスを達成した。
• IJB-Aデータセットにおいて、ベースライン[41]と比較して、IDランク1パフォーマンスが1.2%向上（94.7%）、FAR=0.01における検証性能が2.5%向上（94.7%）し、ID記述子品質が3%向上した。
• 段階的処理を排除することで誤差蓄積を低減し、20%のパフォーマンス向上は改善された顔アライメントに起因し、残りの80%はより良いID記述子学習に起因する。
• HyperFaceよりもすべてのタスクで優れた性能を示し、顔検出（AUC 0.823 vs. 0.776）、アライメント（AUC 0.922 vs. 0.871）、検証（FAR=0.01でAUC 0.939 vs. 0.900）で優位であった。
• Triplet Probabilistic Embedding（TPE）の追加によりさらに性能向上が達成され、FAR=0.01におけるランク1正答率は94.7%、検証率は0.947に達した。
• 平均して1枚の画像を3.5秒で処理でき、1枚の画像ペアあたりの推論処理（2番目の段階）はわずか0.1秒で完了し、高い精度にもかかわらず高速なクエリ応答が可能である。