[論文レビュー] ASFD: Automatic and Scalable Face Detector

Jian Li, Bin Zhang+7 more|arXiv (Cornell University)|Jan 26, 2022

Face recognition and analysis参考文献 55被引用数 14

ひとこと要約

本稿では、ドメイン固有の特徴統合・強化（AutoFAE）モジュールを、微分可能ニューラルアーキテクチャサーチを用いて自動で発見する、自動的かつスケーラブルな顔検出器であるASFDを提案する。汎用オブジェクト検出と顔検出の間のドメインギャップに対処することで、ASFDは、WIDER Faceテストで96.7/96.2/92.1 APを達成するASFD-D6、およびV100 GPU上で320 FPS以上で動作し、3.1msの推論遅延を達成するASFD-D0を含め、最先端のパフォーマンス-効率トレードオフを実現する。

ABSTRACT

Along with current multi-scale based detectors, Feature Aggregation and Enhancement (FAE) modules have shown superior performance gains for cutting-edge object detection. However, these hand-crafted FAE modules show inconsistent improvements on face detection, which is mainly due to the significant distribution difference between its training and applying corpus, COCO vs. WIDER Face. To tackle this problem, we essentially analyse the effect of data distribution, and consequently propose to search an effective FAE architecture, termed AutoFAE by a differentiable architecture search, which outperforms all existing FAE modules in face detection with a considerable margin. Upon the found AutoFAE and existing backbones, a supernet is further built and trained, which automatically obtains a family of detectors under the different complexity constraints. Extensive experiments conducted on popular benchmarks, WIDER Face and FDDB, demonstrate the state-of-the-art performance-efficiency trade-off for the proposed automatic and scalable face detector (ASFD) family. In particular, our strong ASFD-D6 outperforms the best competitor with AP 96.7/96.2/92.1 on WIDER Face test, and the lightweight ASFD-D0 costs about 3.1 ms, more than 320 FPS, on the V100 GPU with VGA-resolution images.

研究の動機と目的

• 汎用オブジェクト検出と顔検出の間のドメイン分布の違いにより、従来の手作業で設計された特徴統合・強化（FAE）モジュールが顔検出に応用された際に性能が低下する理由を解消すること。
• 小規模かつ密集した顔に対応できるように、顔検出に特化した探索空間と探索戦略を設計すること。
• 微分可能アーキテクチャサーチを用いて、顔検出ドメインで既存のモジュールを上回る最適なFAEアーキテクチャ（AutoFAE）を自動で発見すること。
• AutoFAEとResNetバックボーンを組み合わせたスーパーネットを構築し、さまざまな効率制約に適合した自動モデルスケーリングを可能にすること。
• 複数の顔検出ベンチマークにおいて、新たな最先端のパフォーマンス-効率トレードオフを達成すること。

提案手法

• 小規模および密集した顔を処理できるように、クロススケールおよび同スケールの接続に焦点を当てた、ドメインに適応したFAEモジュールの探索空間を提案する。
• 微分可能アーキテクチャサーチにおいて二段階最適化を適用し、ピラミッド層全体にわたるスパarsなトップダウン接続と適応的演算を学習するAutoFAEを発見する。
• ResNetバックボーンと組み合わせたAutoFAEを統合したスーパーネットを構築し、遅延制約下で遺伝的アルゴリズムを用いて単一パスアーキテクチャを探索する。
• マルチスケール推論と標準的なアンカーベースのヘッド、マルチタスク損失を用いて、スーパーネットおよび派生モデルを訓練する。
• RetinaNet、FCOS、Faster R-CNNに標準的なFPNの代わりにAutoFAEを統合し、COCO上で一般化性能を評価する。
• COCOとWIDER Face間のデータ分布の違いを分析するために、累積分布関数を用いることで、ドメイン固有のFAE設計の必要性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 なぜ従来の手作業で設計されたFAEモジュールは、汎用オブジェクト検出で成功しているにもかかわらず、顔検出に一般化できないのか？
• RQ2 顔検出の独自の課題、例えば小規模で密集した顔に対応できるように、ニューラルアーキテクチャサーチをどのように変更すればよいか？
• RQ3 自動で探索されたFAEモジュール（AutoFAE）は、顔検出において手作業で設計されたFAEを上回る性能を発揮するだけでなく、汎用オブジェクト検出への一般化も維持できるか？
• RQ4 AutoFAEで訓練されたスーパーネットをさまざまなハードウェア制約に応じてスケーリングすることで、どの程度のパフォーマンス-効率トレードオフが達成できるか？
• RQ5 AutoFAEは顔検出を越えて、他の検出器やデータセットに対してもどの程度一般化できるか？

主な発見

• ASFD-D6はWIDER Faceテストで96.7/96.2/92.1 APを達成し、すべての先行研究を大きく上回る性能を示した。
• ASFD-D0はV100 GPU上で320 FPS以上の推論速度を達成し、VGA解像度の画像でわずか3.1msの遅延を実現し、高い効率性を示した。
• COCOにおいてRetinaNet、FCOS、Faster R-CNNのすべてで、AutoFAEはAPを0.5–1.0ポイント向上させ、汎用オブジェクト検出への強い一般化能力を実証した。
• COCOとWIDER Faceの間の性能格差の主な要因は、相対的な顔スケールが小さいこと（55%の顔が0.02未満のスケール）と、インスタンス密度が高いこと（99%の画像で150個以上の顔が存在）に起因しており、これに対して従来のFAEは対応できない。
• 発見されたAutoFAEは、スパースなトップダウン接続と適応的演算を採用しており、特に深い層でのみ空間畳み込み（dilated convolutions）を適用することで、小規模および隠蔽された顔の特徴統合をより効果的に行えるようになった。
• スーパーネットベースのモデルスケーリングにより、7種類の異なる遅延制約に対応する検出器が得られ、すべてが優れたパフォーマンス-効率トレードオフを達成した。