[論文レビュー] Finding Tiny Faces

Peiyun Hu, Deva Ramanan|arXiv (Cornell University)|Dec 13, 2016

Face recognition and analysis参考文献 24被引用数 41

ひとこと要約

この論文では、マルチタスク特徴階層を用いて、異なるスケールごとに別々の検出器を訓練することで、微小顔のスケール特化検出アプローチを提案している。大容量の受容 field テンプレートを用いて文脈を活用することで、WIDER FACE で 82% の平均精度を達成し、従来手法と比較して誤差を 2 倍まで低減した。

ABSTRACT

Though tremendous strides have been made in object recognition, one of the remaining open challenges is detecting small objects. We explore three aspects of the problem in the context of finding small faces: the role of scale invariance, image resolution, and contextual reasoning. While most recognition approaches aim to be scale-invariant, the cues for recognizing a 3px tall face are fundamentally different than those for recognizing a 300px tall face. We take a different approach and train separate detectors for different scales. To maintain efficiency, detectors are trained in a multi-task fashion: they make use of features extracted from multiple layers of single (deep) feature hierarchy. While training detectors for large objects is straightforward, the crucial challenge remains training detectors for small objects. We show that context is crucial, and define templates that make use of massively-large receptive fields (where 99% of the template extends beyond the object of interest). Finally, we explore the role of scale in pre-trained deep networks, providing ways to extrapolate networks tuned for limited scales to rather extreme ranges. We demonstrate state-of-the-art results on massively-benchmarked face datasets (FDDB and WIDER FACE). In particular, when compared to prior art on WIDER FACE, our results reduce error by a factor of 2 (our models produce an AP of 82% while prior art ranges from 29-64%).

研究の動機と目的

• オブジェクト認識において、スケール不変性が機能しないため、根本的に異なる視覚的手がかりを示す極めて小さな顔（例：3px の高さ）を検出する課題に対処すること。
• スケール不変モデルに依存するのではなく、スケールごとに特化した検出器を訓練することで、微小顔の検出精度を向上させること。
• 99% が物体の外側にまで及ぶ非常に大きな受容 field を持つテンプレートを用いることで、微小顔検出に不可欠な文脈的情報を捉える文脈的推論を強化すること。
• 事前学習済みの深層ネットワークを極端なスケール範囲にわたって拡張可能にする方法を提案し、微小物体検出における一般化性能を向上させること。

提案手法

• スケール不変モデルに依存するのではなく、3px と 300px の顔の視覚的特徴が根本的に異なることを認識し、スケールごとに別々の検出器を訓練すること。
• 1 つの深層特徴階層の複数の層から抽出された特徴を共有するマルチタスク学習フレームワークを用い、効率性を維持すること。
• 物体の外側に 99% が存在する非常に大きな受容 field を持つテンプレートを設計し、微小顔検出に不可欠な文脈的情報を捉えること。
• 事前学習済みの深層ネットワークを活用し、広範囲のスケールにわたってそれらを拡張する方法を提案することで、極端に小さな物体検出のパフォーマンスを向上させること。
• ベンチマークデータセットで最先端の精度を達成しながらも、高い効率性を維持するように検出パイプラインを最適化すること。

実験結果

リサーチクエスチョン

• RQ1 微小顔（例：3px の高さ）の視覚的特徴は、より大きな顔とどのように異なるのか。スケール不変モデルは、これらの差を適切に捉えることができるのか。
• RQ2 スケール不変性に依存するのではなく、スケールごとに別々の検出器を訓練することで、微小顔の検出性能を顕著に向上させられるか。
• RQ3 非常に大きな受容 field を持つテンプレートによる文脈的推論は、微小顔の検出にどの程度向上効果をもたらすか。
• RQ4 事前学習済みの深層ネットワークを極端なスケール範囲にわたって効果的に拡張できるか。
• RQ5 解像度と特徴階層の深さは、最小スケールでの顔検出にどのような影響を及ぼすか。

主な発見

• 提案手法は、WIDER FACE データセットで 82% の平均精度を達成し、従来の最先端手法と比較して誤差が 2 倍低減された。
• スケール特化検出器を用いることで、スケール不変アプローチを上回る性能を発揮し、特に高さ 3px の顔に対して顕著な向上が得られた。これは、異なるスケールで顕在する視覚的特徴の根本的な違いに起因する。
• 物体の外側に 99% が存在する受容 field を持つテンプレートを用いた文脈的推論により、微小顔の検出性能が顕著に向上した。
• マルチタスク特徴階層により、スケール特化検出器の効率的訓練が可能になり、スケール間で深層特徴を共有できた。
• 事前学習済みの深層ネットワークを広範囲のスケールにわたって効果的に拡張でき、極端に小さな物体検出のパフォーマンスが向上した。