[論文レビュー] End-To-End Face Detection and Recognition

Liying Chi, Hongxin Zhang+1 more|arXiv (Cornell University)|Mar 31, 2017

Face recognition and analysis参考文献 2被引用数 8

ひとこと要約

本論文では、顔のアライメントのための幾何変換を直接学習する空間変換ネットワーク（STN）を用いて、顔検出と認識を統合的に実行するエンド・ツー・エンドで学習可能な畳み込みネットワークを提案する。顔のランドマーク予測の必要性が不要となり、検出と認識の両タスクで低レベル特徴を共有することで、FDDBで89.24%のリcall、LFWで98.63%の精度を達成し、バウンディングボックスとアイデンティティの監視のみで最先端の結果を実現した。

ABSTRACT

Plenty of face detection and recognition methods have been proposed and got delightful results in decades. Common face recognition pipeline consists of: 1) face detection, 2) face alignment, 3) feature extraction, 4) similarity calculation, which are separated and independent from each other. The separated face analyzing stages lead the model redundant calculation and are hard for end-to-end training. In this paper, we proposed a novel end-to-end trainable convolutional network framework for face detection and recognition, in which a geometric transformation matrix was directly learned to align the faces, instead of predicting the facial landmarks. In training stage, our single CNN model is supervised only by face bounding boxes and personal identities, which are publicly available from WIDER FACE \cite{Yang2016} dataset and CASIA-WebFace \cite{Yi2014} dataset. Tested on Face Detection Dataset and Benchmark (FDDB) \cite{Jain2010} dataset and Labeled Face in the Wild (LFW) \cite{Huang2007} dataset, we have achieved 89.24\% recall for face detection task and 98.63\% verification accuracy for face recognition task simultaneously, which are comparable to state-of-the-art results.

研究の動機と目的

• 顔のアライメントのための別個の段階を排除し、ランドマークに基づくアライメントを微分可能な空間的変換に置き換える。
• 両タスク間で低レベル特徴を共有することで、顔検出と認識のエンド・ツー・エンド学習を可能にする。
• 特徴の共有による冗長な計算の削減により、モデルの効率性と性能を向上させる。
• 顔のバウンディングボックスとアイデンティティラベルという、公に利用可能な監視情報のみで最先端の結果を達成する。
• 統合的なディープラーニングフレームワークにおいて、STNを用いたアライメントがランドマーク予測よりも柔軟で効果的であることを示す。

提案手法

• 物体検出にFaster R-CNNを採用し、畳み込み層の後に空間変換ネットワーク（STN）を挿入することで、特徴マップのアライメントに向けた幾何変換を学習する。
• STNは顔のランドマークのアノテーションを必要とせず、直接変換行列を予測することでエンド・ツー・エンド学習を可能にする。
• 顔検出と認識の両ブランチがVGG-16の最初の3〜4つの畳み込みブロックを共有することで、パラメータ数と計算量を削減する。
• ランドマークのアノテーションが不要であり、WIDER FACEからのバウンディングボックスとCASIA-WebFaceからのアイデンティティラベルのみを用いてエンド・ツー・エンドで学習する。
• 異なる畳み込み層の後に認識ブランチを切断することで、特徴共有の影響を体系的に評価し、性能のトレードオフを分析する。
• 学習プロセスは段階的な戦略を採用する：まず検出の事前学習を行い、次に検出と認識を同時に学習し、最後に認識ヘッドをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 空間変換ネットワーク（STN）は、エンド・ツー・エンドの顔検出・認識フレームワークにおいて、ランドマークに基づく顔アライメントを効果的に置き換えることができるか？
• RQ2 検出と認識の間で低レベル特徴を共有することで、モデルの性能と学習効率が向上するか？
• RQ3 1つのCNNモデルが、バウンディングボックスとアイデンティティの監視のみで、顔検出および顔認識の両面で最先端の性能を達成できるか？
• RQ4 特徴共有の深さが、認識精度および収束速度にどのように影響するか？
• RQ5 提案されたエンド・ツー・エンドフレームワークは、分離されたアライメントおよび特徴抽出段階を持つ従来のパイプラインよりも、より頑健で正確であるか？

主な発見

• 本モデルはFDDB顔検出ベンチマークで89.24%のリcallを達成し、最先端の性能と同等であった。
• 本モデルはLFW顔認識データセットで98.63%の検証精度を達成し、既存の単一モデル手法を上回った。
• 3番目の畳み込みブロック（conv3）からの特徴共有が最も高い認識精度を示し、LFWで98.63%を達成した。
• 特徴共有により、特に深層特徴を共有した場合、学習中の損失収束が速くなった。
• STNを用いたアライメント手法により、ランドマーク予測の必要性が排除され、パイプラインが簡素化され、完全なエンド・ツー・エンド学習が可能になった。
• 公に利用可能なデータセットを用い、追加のアノテーションなしに、バウンディングボックスとアイデンティティの監視のみで高い性能を達成した。