[論文レビュー] Scale-Aware Face Detection

Zekun Hao, Yu Liu+4 more|arXiv (Cornell University)|Jun 29, 2017

Face recognition and analysis参考文献 36被引用数 28

ひとこと要約

本稿では、最初に軽量なスケールプロポーザルネットワーク（SPN）を用いてスケール分布を推定し、その後画像をリサイズして検出を最適化することで、効率性と精度を向上させる2段階の顔検出フレームワーク、スケールに配慮した顔検出（SAFD）を提案する。この手法は、マルチスケールテストを回避しながらも高い再現率と正確性を維持しつつ、計算量を著しく削減した。FDDB、MALF、AFWの3つのベンチマークで最先端の性能を達成した。

ABSTRACT

Convolutional neural network (CNN) based face detectors are inefficient in handling faces of diverse scales. They rely on either fitting a large single model to faces across a large scale range or multi-scale testing. Both are computationally expensive. We propose Scale-aware Face Detector (SAFD) to handle scale explicitly using CNN, and achieve better performance with less computation cost. Prior to detection, an efficient CNN predicts the scale distribution histogram of the faces. Then the scale histogram guides the zoom-in and zoom-out of the image. Since the faces will be approximately in uniform scale after zoom, they can be detected accurately even with much smaller CNN. Actually, more than 99% of the faces in AFW can be covered with less than two zooms per image. Extensive experiments on FDDB, MALF and AFW show advantages of SAFD.

研究の動機と目的

• CNNベースの顔検出器が大規模なスケール変動を処理する際の非効率性を是正すること。
• 検出の前にスケール変動を明示的にモデル化することで、顔検出における計算コストを低減すること。
• スケール推定による顔のスケーリング正規化により、より小型で単一スケールの検出器を用いて高精度な検出を実現すること。
• ボクシングボックスのアノテーションを必要とせず、弱教師ありで軽量なSPNを設計すること。
• スケールに配慮した事前処理がマルチスケールテストに比べて高速かつ高精度な検出を可能にすることを実証すること。

提案手法

• 完全畳み込み型のスケールプロポーザルネットワーク（SPN）が、画像レベルの監視とボクシングボックスの真値なしに、入力画像からグローバルな顔スケールヒストグラムを予測する。
• SPNは、対数スケールで8〜512ピクセルの範囲（解像度0.1）において、異なるスケールに顔が存在する可能性を符号化した固定長のヒストグラムベクトルを出力する。
• 予測されたスケールヒストグラムに基づき、入力画像が顔が検出器の最適な受容 field に収まるように、ターゲットスケール範囲（36〜72ピクセル）にリサイズされる。
• 検出段階では、狭いスケール範囲に最適化された単一スケールのリージョンプロポーザルネットワーク（RPN）が使用され、精度と速度が向上する。
• SPNによるスケール推定とRPNによる検出という2段階のパイプラインにより、FLOPsを削減した効率的で高精度な推論が可能になる。
• SPNとRPNは畳み込み層を共有することで、モデルサイズと計算量をさらに削減できる。

実験結果

リサーチクエスチョン

• RQ1 明示的なスケール推定は、計算コストを削減しつつ、精度を維持または向上させることができるか？
• RQ2 ボクシングボックスのアノテーションを必要としない軽量で弱教師ありのSPNは、顔の関連スケールをどれほど効果的に予測できるか？
• RQ3 スケールに配慮した画像リサイズと組み合わせた単一スケール検出は、マルチスケールテストに比べてどの程度優れているか？
• RQ4 本手法は、スケール多様性が高く、小さな顔が多数含まれるデータセットに対しても一般化可能か？
• RQ5 スケールに配慮した顔検出において、検出速度、精度、モデルの複雑さの間にはどのようなトレードオフがあるか？

主な発見

• SPNは、AFWで99％以上の顔が2回未満のズームでカバーされ、主に小さな顔で失敗が生じる。
• FDDBでは、SAFDが最先端の性能を達成し、マルチスケールテストベースラインと比較して精度と速度の両面で優れている。
• MALFでは、小さな顔や多様なスケールの顔の課題にもかかわらず、SAFDは高信頼度領域で高い精度を維持し、マルチスケールRPNと比較して誤検出を削減した。
• SAFDの1画像あたりの平均FLOPsはデータセットの内容に依存するが、最も複雑なMALFデータセットでも、マルチスケールテストRPNに比べて顕著に高速である。
• SA-RPNはマルチスケールテストRPNに比べて数倍高速であり、再現率を維持または向上させつつ誤検出を削減した。
• SPNは画像レベルの監視で学習可能であり、RPNと特徴を共有することで、モデル圧縮と高速推論を実現できる。