[論文レビュー] PAFNet: An Efficient Anchor-Free Object Detector Guidance

Ying Xin, Guanzhong Wang+6 more|arXiv (Cornell University)|Apr 28, 2021

Advanced Neural Network Applications参考文献 42被引用数 6

ひとこと要約

PAFNet は、サーバーおよびモバイルデプロイ用に最適化された、非常に効率的なアンカーフリー物体検出器であり、向上したバックボーンアーキテクチャ（ResNet50-vd および MobileNetV3）、知識蒸留、アテンションモジュール（AGS）、およびデータ拡張（CutMix）を活用して、最先端の精度と速度を達成した。V100 GPU では 67.15 FPS で 42.2% mAP を達成し、Kirin 990 ARM CPU では 26.00 ms の遅延で 23.9% mAP を達成し、既存のアンカーフリー検出器を上回った。

ABSTRACT

Object detection is a basic but challenging task in computer vision, which plays a key role in a variety of industrial applications. However, object detectors based on deep learning usually require greater storage requirements and longer inference time, which hinders its practicality seriously. Therefore, a trade-off between effectiveness and efficiency is necessary in practical scenarios. Considering that without constraint of pre-defined anchors, anchor-free detectors can achieve acceptable accuracy and inference speed simultaneously. In this paper, we start from an anchor-free detector called TTFNet, modify the structure of TTFNet and introduce multiple existing tricks to realize effective server and mobile solutions respectively. Since all experiments in this paper are conducted based on PaddlePaddle, we call the model as PAFNet(Paddle Anchor Free Network). For server side, PAFNet can achieve a better balance between effectiveness (42.2% mAP) and efficiency (67.15 FPS) on a single V100 GPU. For moblie side, PAFNet-lite can achieve a better accuracy of (23.9% mAP) and 26.00 ms on Kirin 990 ARM CPU, outperforming the existing state-of-the-art anchor-free detectors by significant margins. Source code is at https://github.com/PaddlePaddle/PaddleDetection.

研究の動機と目的

• 実世界の産業用途に適した、高精度と高速推論を両立する効率的なアンカーフリー物体検出器の開発。
• 推論速度を損なわずに効果的な技術を統合することで、TTFNet の性能を向上させること。
• 最小限の遅延と高い mAP を実現するように、サーバーサイド（GPU）およびモバイルサイド（ARM CPU）の両方のデプロイに最適化すること。
• アンカーフリー検出に最も効果的なトレーニングテクニック、データ拡張、およびアーキテクチャ的変更の組み合わせを特定・検証すること。

提案手法

• サーバーサイドモデルのバックボーンとして、特徴表現を向上させるために知識蒸留（SSLD）を適用した ResNet50-vd を採用した。
• 特徴の精練と局所化精度を向上させるために、検出ヘッドにアダプティブゲーテッドスケール（AGS）モジュールを導入した。
• 一般化性能とモデルのロバスト性を向上させるために、CutMix データ拡張と EMA（指数移動平均）トレーニング戦略を適用した。
• サーバーサイドでは 10x トレーニングスケジュール、モバイルサイドでは 20x スケジュールを採用し、完全な収束を確保した。
• FLOPs と遅延を低減するために、モバイルモデルで標準的な畳み込みを軽量なディープワイズ分離畳み込みに置き換えた。
• 追加の拡張法（GridMask、Random-Crop、Random-Expand）と蒸留された MobileNetV3-Large バックボーンを用いて、モバイルモデルを最適化した。

実験結果

リサーチクエスチョン

• RQ1 アンカーフリー物体検出において、どのトレーニングテクニックとアーキテクチャ的コンponentsの組み合わせが最良の精度-速度トレードオフを達成するか？
• RQ2 知識蒸留とアテンションモジュール（AGS）は、推論コストを増加させずにアンカーフリー検出器の性能を向上させるのにどの程度効果的か？
• RQ3 サーバーおよびモバイル推論環境の両方で mAP を向上させるために、どのデータ拡張戦略が最も効果的か？
• RQ4 1つの検出器アーキテクチャを、ハイエンド GPU とモバイル ARM CPU の両方で効果的に適応可能か？性能劣化を最小限に抑えることができるか？
• RQ5 異なるトレーニングスケジュール（1x、4x、10x、20x）は、アンカーフリー検出における収束と最終的な mAP にどのように影響するか？

主な発見

• PAFNet は COCO 2017 検証セットで 67.15 FPS の推論速度で 42.2% mAP を達成し、精度と速度の両面で既存のアンカーフリー検出器を上回った。
• PAFNet-lite は Kirin 990 ARM CPU でたった 26.00 ms の遅延で 23.9% mAP を達成し、モバイル最適化アンカーフリー検出器における新たな SOTA を樹立した。
• AGS モジュールと知識蒸留（SSLD）の統合により、サーバーサイドで mAP がそれぞれ 1.8% 向上したが、FLOPs に顕著な増加は見られなかった。
• CutMix データ拡張と EMA トレーニング戦略は、サーバーサイドで mAP をさらに 0.4% 向上させ、優れた一般化性能を示した。
• サーバーサイドで 10x、モバイルサイドで 20x のトレーニングスケジュールは、最適な収束と mAP パフォーマンスを達成するために不可欠であった。
• ResNet50-vd の最終段階で標準的な畳み込みを可変畳み込みに置き換えることで、サーバーサイドの mAP は 39.8% から 42.2% に向上した。