[論文レビュー] Faceness-Net: Face Detection through Deep Facial Part Responses

Shuo Yang, Ping Luo+2 more|arXiv (Cornell University)|Jan 29, 2017

Face recognition and analysis参考文献 63被引用数 4

ひとこと要約

本稿では、顔の属性ラベルを用いた教師信号を活用することで、明示的な部位アノテーションなしに顔の部位検出器を暗黙的に学習する深層畳み込みニューラルネットワーク（CNN）ベースの顔検出手法、Faceness-Netを提案する。顔の部位応答の空間的配置に基づいてスコアを算出し、遮りやアングルの変化に対して頑健な高再現率の顔候補領域を生成することで、FDDB、PASCAL Faces、AFW、WIDER FACEの各ベンチマークで最先端の性能を達成し、FDDBでは92.84%の再現率、1GPUでの推論時間は40msを達成した。

ABSTRACT

We propose a deep convolutional neural network (CNN) for face detection leveraging on facial attributes based supervision. We observe a phenomenon that part detectors emerge within CNN trained to classify attributes from uncropped face images, without any explicit part supervision. The observation motivates a new method for finding faces through scoring facial parts responses by their spatial structure and arrangement. The scoring mechanism is data-driven, and carefully formulated considering challenging cases where faces are only partially visible. This consideration allows our network to detect faces under severe occlusion and unconstrained pose variations. Our method achieves promising performance on popular benchmarks including FDDB, PASCAL Faces, AFW, and WIDER FACE.

研究の動機と目的

• 遮りやアングルの変化下での顔検出の頑健性向上に、顔の属性に基づく教師信号が有効であるかを検証すること。
• 顔の部位認識のみを目的として訓練されたCNNにおいて、明示的な部位監督なしに部位検出器が自己で出現するかを調査すること。
• 顔の部位応答の空間的一致性に基づいて、顔としての類似度を評価するデータ駆動型の「顔らしさスコア」を設計すること。
• 部位応答の配置を活用して、高品質で高再現率の顔候補領域を生成し、密なスライディングウィンドウ依存を軽減すること。
• 最小限のアーキテクチャ変更と部位検出器間のパラメータ共有により、効率的かつ高精度な顔検出を実現すること。

提案手法

• 顔の部位特徴表現を学習できるように、バイナリの顔の属性ラベル（例：大きな唇、笑顔）を用いて、未クロップの顔画像上で深層CNNを訓練する。
• ネットワークの深層層から「パーツネスマップ」と呼ばれる部位応答マップを抽出し、明示的なボクシングボックス監督なしに顔の部位を暗黙的に検出する。
• 学習済みスコアリング関数を用いて、検出された顔の部位の空間的妥当性（例：目は口より上、鼻は目の間）を評価し、「顔らしさスコア」を定式化する。
• 顔らしさスコアを用いて、一般物体候補生成器やテンプレートベース手法から得た候補領域を再順序付けし、高品質な顔候補領域のコンパクトな集合を生成する。
• 最終的な顔検出を、境界ボックスの回帰と顔分類を同時に最適化するマルチタスクCNNで精緻化し、局所化精度を向上させる。
• 属性固有のネットワーク間で低次元および中次元の畳み込み層を共有することで、パラメータ数を約83%削減するとともに、特徴の頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 顔の部位認識のみを目的として訓練されたCNNにおいて、明示的な部位レベルの監督なしに部位検出器が自然に出現するか？
• RQ2 顔の部位応答の空間的一致性を有効に活用することで、遮りやアングルの変化下での顔検出性能が向上するか？
• RQ3 境界ボックスのみの監督に比べ、属性ベースの教師信号が、特に困難な状況下で顔検出の一般化性能を向上させるか？
• RQ4 部位検出器間で共有された特徴表現が、性能を維持または向上させつつモデルパラメータ数を顕著に削減できるか？
• RQ5 提案手法の顔らしさスコアリング機構は、従来のスライディングウィンドウ法やR-CNNベース手法と比較して、再現率と効率性の両面で優れているか？

主な発見

• FDDBデータセットにおいて、167件の誤検出のみで92.84%の再現率を達成し、同じ条件下でCascade-CNNより4.66%高い再現率を記録した。
• わずか150件程度の候補領域（全スライディングウィンドウの約0.5%、一般物体候補の10%未満）で90%以上の顔再現率を達成し、高い効率性を示した。
• 1GPUでの実行時間は40msであり、Faceness-Net-SR-TPの高速版はベースラインモデルに比べて著しく高速でありながらも、より高い再現率を維持した。
• 顔の属性認識のみを目的として訓練したCNNにおいて、明示的な部位アノテーションがなくても部位検出器が自然に出現することが確認され、本研究の核心的観察が裏付けられた。
• WIDER FACE、PASCAL Faces、AFW、FDDBなど多様なベンチマークにわたって良好な汎化性能を示し、特にWIDER FACEの難易度の高いサブセット（例：難易度の高い例）でも強力な性能を発揮した。
• 失敗事例の主な要因は、ぼやけ、極端な照明、顔のスケールが非常に小さい（高さ20ピクセル未塔）こと、およびアノテーションの欠落であり、極めて小さな顔の検出における課題が浮き彫りになった。