[論文レビュー] Multi-Branch Fully Convolutional Network for Face Detection

Yancheng Bai, Bernard Ghanem|arXiv (Cornell University)|Jul 20, 2017

Face recognition and analysis参考文献 27被引用数 3

ひとこと要約

本稿では、複数の畳み込み層からのスケール固有のスキップ接続を活用することで、1回の順伝播で全スケールの顔を検出可能なマルチブランチ畳み込みニューラルネットワーク（MB-FCN）を提案する。この手法は、FDDBおよびWIDER FACEで最先端の性能を達成し、特に難易度の高いHardサブセットにおいて顕著な向上を示す。640×480の画像に対して最小検出可能顔サイズの仮定なしに15 FPSで実行可能である。

ABSTRACT

Face detection is a fundamental problem in computer vision. It is still a challenging task in unconstrained conditions due to significant variations in scale, pose, expressions, and occlusion. In this paper, we propose a multi-branch fully convolutional network (MB-FCN) for face detection, which considers both efficiency and effectiveness in the design process. Our MB-FCN detector can deal with faces at all scale ranges with only a single pass through the backbone network. As such, our MB-FCN model saves computation and thus is more efficient, compared to previous methods that make multiple passes. For each branch, the specific skip connections of the convolutional feature maps at different layers are exploited to represent faces in specific scale ranges. Specifically, small faces can be represented with both shallow fine-grained and deep powerful coarse features. With this representation, superior improvement in performance is registered for the task of detecting small faces. We test our MB-FCN detector on two public face detection benchmarks, including FDDB and WIDER FACE. Extensive experiments show that our detector outperforms state-of-the-art methods on all these datasets in general and by a substantial margin on the most challenging among them (e.g. WIDER FACE Hard subset). Also, MB-FCN runs at 15 FPS on a GPU for images of size 640 x 480 with no assumption on the minimum detectable face size.

研究の動機と目的

• 顔のスケール、ポーズ、表情、被覆の極端な変動に対する検出の課題に対処すること。
• 浅い細粒度特徴と深い粗粒度特徴を統合することで、小規模な顔の検出精度を向上させること。
• マルチスケール画像ピラミッドの必要性を排除することで、計算効率を向上させること。
• 1回の順方向伝搬で全スケール範囲にわたって高い性能を達成すること。
• 最小検出可能顔サイズの仮定を排除しつつ、リアルタイム推論速度を維持すること。

提案手法

• MB-FCNアーキテクチャは、それぞれが特定のスケール範囲内の顔検出に特化した複数のブランチから構成される。
• 各ブランチは、空間的および意味的レベルを横断する特徴を統合するために、異なる畳み込み層からのスキップ接続を採用する。
• 高解像度の浅い特徴と意味的豊富な深い特徴を統合することで、小規模な顔をより効果的に表現する。
• ネットワークは、位置ごとの分類とボクシングボックス回帰のための完全畳み込みヘッドを使用する。
• 全ブランチにわたる非最大抑制処理を実行し、検出結果を統合して最終的な出力を得る。
• モデルはWIDER FACEで端末から端末まで訓練され、WIDER FACEおよびFDDBベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 1回の順伝播によるマルチブランチFCNアーキテクチャは、マルチスケールピラミッド手法に比べ、顔検出の精度と効率性において優れているか？
• RQ2 浅い特徴と深い特徴を統合することで、小規模な顔の検出がどのように向上するか？
• RQ3 スケール固有のスキップ接続は、WIDER FACE Hardのような難易度の高いサブセットでの性能向上に寄与するか？
• RQ4 画像ピラミッドを排除した場合の、精度と推論速度のトレードオフはいかなるものか？
• RQ5 最小顔サイズの仮定が欠如している場合、検出性能にどの程度の影響が生じるか？

主な発見

• MB-FCN検出器はFDDBおよびWIDER FACEの両ベンチマークで最先端の性能を達成し、CMS-RCNNに比べてWIDER FACE Hardサブセットで14.0%の絶対的向上を示した。
• WIDER FACE Hardサブセットでは、FDDBで微調整された手法を含む、すべての先行手法を上回った。これは、MB-FCNがWIDER FACEでのみ学習されたにもかかわらず顕著な性能向上を達成したことを示している。
• 640×480の画像に対してGPU上で15 FPSで実行可能であり、最小検出可能顔サイズの仮定なしに動作する。
• スケール固有のスキップ接続の使用により、小規模な顔の検出性能が顕著に向上し、小スケールベンチマークでの優れた性能が裏付けられた。
• マルチスケール推論戦略（MB-FCN-ms）は、精度を向上させた（Hardサブセットで+4.0%）が、5倍遅くなった。これは、1回の順伝播設計の効率性を確認するものである。
• 定性的な結果から、極端なポーズ、被覆、表情を持つ顔の検出が堅牢に行えることが示されたが、著しく切断されたか低解像度の顔では失敗が見られた。