[論文レビュー] ACFD: Asymmetric Cartoon Face Detector

Bin Zhang, Jian Li+6 more|arXiv (Cornell University)|Jul 2, 2020

Face recognition and analysis参考文献 28被引用数 11

ひとこと要約

ACFDは、コッターフェース検出のための新規な1段階型アンカーベース検出器であり、カスタムバックボーン（VoVNetV3）、非対称な双方向特徴アップローディングネットワーク（ABi-FPN）、動的アンカー割り当て（DAM）、マージンバイナリ分類（MBC）を導入し、極端なポーズ、大きなアスペクト比の変動、分類の難易度の高さに対処する。2020年iCartoon Face Challengeで、200MBのモデルサイズと50msの推論時間制約のもとで92.91%のmAPを達成し、1位を獲得した。

ABSTRACT

Cartoon face detection is a more challenging task than human face detection due to many difficult scenarios is involved. Aiming at the characteristics of cartoon faces, such as huge differences within the intra-faces, in this paper, we propose an asymmetric cartoon face detector, named ACFD. Specifically, it consists of the following modules: a novel backbone VoVNetV3 comprised of several asymmetric one-shot aggregation modules (AOSA), asymmetric bi-directional feature pyramid network (ABi-FPN), dynamic anchor match strategy (DAM) and the corresponding margin binary classification loss (MBC). In particular, to generate features with diverse receptive fields, multi-scale pyramid features are extracted by VoVNetV3, and then fused and enhanced simultaneously by ABi-FPN for handling the faces in some extreme poses and have disparate aspect ratios. Besides, DAM is used to match enough high-quality anchors for each face, and MBC is for the strong power of discrimination. With the effectiveness of these modules, our ACFD achieves the 1st place on the detection track of 2020 iCartoon Face Challenge under the constraints of model size 200MB, inference time 50ms per image, and without any pretrained models.

研究の動機と目的

• 極端なポーズ、大きなアスペクト比の変動（>3 または <1/3）、背景や体の一部と類似していることによる課題を解決する。
• コッターフェースには、実際の人間の顔よりも複雑なクラス内可変性とクラス間のあいまいさがあるため、それらに強い検出器を開発する。
• 200MBのモデルサイズと1枚あたり50msの推論時間という厳しいデプロイ制約を満たす、軽量で効率的なアーキテクチャを設計する。
• コッター特徴に特化した新しいニューラルネットワーク部品を用いて、特徴表現、回帰、分類の能力を向上させる。
• 実世界のデプロイ制約のもとで、iCartoon Face Challengeの検出トラックでSOTAのパフォーマンスを達成する。

提案手法

• 非対称1ショットアグリゲーションモジュール（AOSA）に基づく新規なバックボーンネットワーク（VoVNetV3）を提案し、多スケールの特徴を多様な受容野で抽出する。
• 多スケール特徴の統合と強化を図る非対称な双方向特徴アップローディングネットワーク（ABi-FPN）を導入し、より良い意味的理解を実現する。
• 回帰されたボクセルボックスを用いて高品質なアンカーを動的に割り当てる動的アンカー割り当て（DAM）戦略を設計し、回帰の初期化を改善する。
• 最適なマージン（m=0.2）を有するマージンバイナリ分類（MBC）損失を採用し、陽性顔と陰性サンプルの識別を向上させる。
• 層の統合とコンボリューション層の統合、TensorRTへの変換といったモデル最適化技術を適用し、推論時間を50ms未満に短縮する。
• ストライド4から128の特徴マップをABi-FPNに供給し、最終予測を実行する1段階型検出パイプラインを採用する。

実験結果

リサーチクエスチョン

• RQ1 非対称畳み込みブロックを有するカスタムバックボーンは、コッターフェース検出における特徴の多様性と表現力を顕著に向上させるか？
• RQ2 非対称な双方向特徴アップローディングネットワーク（ABi-FPN）は、極端なポーズやアスペクト比を持つ顔の多スケール特徴の統合と強化にどの程度効果的か？
• RQ3 回帰ボックスを用いた動的アンカー割り当ては、標準的なIoUベースの割り当てと比較して、より良い回帰性能と偽陽性の低減をもたらすか？
• RQ4 マージンベースの分類損失（MBC）は、陰性サンプルが豊富な密予測設定で識別性能を向上させるか？
• RQ5 アーキテクチャの革新と推論最適化は、200MBのモデルサイズと50msの推論時間制約のもとで、どの程度SOTAのパフォーマンスを実現可能にするか？

主な発見

• ACFDは、iCartoon Face Challengeのリーダーボードで92.91%のmAPを達成し、200MBのモデルサイズと50msの推論時間制約のもとで1位を獲得した。
• アブレーションスタディの結果、ResNet50ベースラインにすべての提案モジュール（VoVNetV3, ABi-FPN, DAM, MBC）を追加したところ、マルチスケールテスト時でmAPが87.13%から90.94%に向上した。
• 動的アンカー割り当て（DAM）戦略により、ベースラインのアンカー割り当てと比較してmAPが1.3ポイント向上（87.65%から88.90%）。
• m=0.2のマージンバイナリ分類（MBC）が90.73%の最高mAPを達成し、他のマージン値や標準的な交差エントロピー損失を上回った。
• 層の統合とTensorRTへの変換によるモデル最適化により、推論時間が50ms未満に短縮され、リアルタイムデプロイメントが可能になった。
• 顕著な例（図4）から、アスペクト比が3以上または1/3未満の顔に対しても、モデルは強力な汎化性能を維持していた。