[論文レビュー] Unconstrained Facial Landmark Localization with Backbone-Branches Fully-Convolutional Networks

Zhujin Liang, Shengyong Ding+1 more|arXiv (Cornell University)|Jul 13, 2015

Face recognition and analysis参考文献 19被引用数 34

ひとこと要約

本論文では、前処理やスライディングウィンドウを用いずに、生画像から顔のランドマーク応答マップを直接回帰するバックボーン・ブランチを備えた完全畳み込みネットワーク、BB-FCNを提案する。粗い検出に共通のバックボーンを、局所的特徴マップを用いた精緻化に専用ブランチを用いることで、制約のない環境でも最先端の精度を達成しながら、エンド・トゥ・エンドの推論を効率的に実現する。

ABSTRACT

This paper investigates how to rapidly and accurately localize facial landmarks in unconstrained, cluttered environments rather than in the well segmented face images. We present a novel Backbone-Branches Fully-Convolutional Neural Network (BB-FCN), which produces facial landmark response maps directly from raw images without relying on pre-process or sliding window approaches. BB-FCN contains one backbone and a number of network branches with each corresponding to one landmark type, and it operates in a progressive manner. Specifically, the backbone roughly detects the locations of facial landmarks by taking the whole image as input, and the branches further refine the localizations based on a local observation from the backbone's intermediate feature map. Moreover, our backbone-branches architecture does not contain full-connection layers for location regression, leading to efficient learning and inference. Our extensive experiments show that our model achieves superior performances over other state-of-the-arts under both the constrained (i.e. with face regions) and the "in the wild" scenarios.

研究の動機と目的

• 従来の手法が顔のセグメンテーションが不十分なために失敗する、制約のない複雑な環境における顔のランドマークの正確な検出という課題に対処すること。
• 顔検出やスライディングウィンドウ技術といった前処理ステップに依存しないことで、推論速度と耐障害性を向上させること。
• 中間のバックボーン層からの局所的特徴マップを用いて、ランドマーク位置を段階的に精緻化することができる深層学習アーキテクチャを開発すること。
• 制約あり（顔が検出済み）および制約なし（「野生の状態」）の両方の顔のランドマーク検出シナリオで、最先端のパフォーマンスを達成すること。

提案手法

• 共通のバックボーンと、各々が1つの顔のランドマークに専用化された複数のタスク固有のブランチを備えた、バックボーン・ブランチを備えた完全畳み込みネットワーク（BB-FCN）を設計する。
• バックボーンを用いて入力画像全体を処理し、初期のランドマーク推定のためのグローバル特徴マップを生成する。
• 予測されたランドマーク位置の周囲から、バックボーンの中間特徴マップから局所的特徴パッチを抽出する。
• 完全結合層を避けるために、局所的観測を用いて応答マップを回帰する専用ブランチにより、ランドマーク位置を精緻化する。
• ランドマーク検出精度を最適化するために、統合損失関数を用いてネットワーク全体をエンド・トゥ・エンドで学習する。
• 完全畳み込みアーキテクチャを活用し、完全結合層を排除することで、パラメータの効率性と高速な推論を確保する。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込みバックボーン・ブランチアーキテクチャは、既存の手法と比較して、制約のない環境におけるランドマーク検出精度を優れて達成できるか？
• RQ2 中間バックボーン層からの局所的特徴マップを用いた段階的精緻化は、検出精度をどのように向上させるか？
• RQ3 前処理やスライディングウィンドウアプローチを排除することで、推論速度と耐障害性はどの程度向上するか？
• RQ4 提案されたBB-FCNアーキテクチャは、制約ありおよび「野生の状態」の両方の顔画像シナリオに十分に一般化できるか？

主な発見

• BB-FCNモデルは、制約ありおよび制約なしの顔のランドマーク検出ベンチマークの両方で、最先端のパフォーマンスを達成した。
• 完全結合層が存在しないため、高速な学習と推論が可能であり、高い精度を維持したままである。
• 中間バックボーン層からの局所的特徴マップを用いた段階的精緻化機構は、グローバル特徴のみを用いた手法と比較して、顕著に検出精度を向上させた。
• 顔検出や画像の前処理ステップを必要とせず、野生の状態の画像に対しても、効果的に一般化できることが示された。