[論文レビュー] Extended Feature Pyramid Network for Small Object Detection

Chunfang Deng, Mengmeng Wang+2 more|arXiv (Cornell University)|Mar 16, 2020

Advanced Neural Network Applications参考文献 40被引用数 24

ひとこと要約

本稿では、高分解能のピラミッドレベルと特徴マップのテクスチャ転送（FTT）モジュールを導入することで、特徴マップのスーパーレゾリューションと微細なディテール抽出を実現し、小物体検出を向上させる拡張型特徴ピラミッドネットワーク（EFPN）を提案する。また、クラスの不均衡を是正するためのフォアグラウンド・バックグラウンドバランス損失関数を採用し、計算量とメモリ使用量を効率的に抑えながら、Tsinghua-Tencent 100K および MS COCO の小物体ベンチマークで最先端の性能を達成した。

ABSTRACT

Small object detection remains an unsolved challenge because it is hard to extract information of small objects with only a few pixels. While scale-level corresponding detection in feature pyramid network alleviates this problem, we find feature coupling of various scales still impairs the performance of small objects. In this paper, we propose extended feature pyramid network (EFPN) with an extra high-resolution pyramid level specialized for small object detection. Specifically, we design a novel module, named feature texture transfer (FTT), which is used to super-resolve features and extract credible regional details simultaneously. Moreover, we design a foreground-background-balanced loss function to alleviate area imbalance of foreground and background. In our experiments, the proposed EFPN is efficient on both computation and memory, and yields state-of-the-art results on small traffic-sign dataset Tsinghua-Tencent 100K and small category of general object detection dataset MS COCO.

研究の動機と目的

• 特徴マップにおける空間的表現が限られる小物体の検出という、長年の課題に取り組む。
• 従来の特徴ピラミッドネットワーク（FPN）におけるスケールレベル間の特徴結合に起因する性能低下を克服する。
• 小物体の特徴表現を向上させるために、専用の高分解能ピラミッドレベルを導入する。
• 特徴のスーパーレゾリューションと局所的ディテール抽出を同時に実現する新しいモジュールにより、特徴品質を向上させる。
• 新規に設計された損失関数により、トレーニング中のフォアグラウンドとバックグラウンド領域の面積不均衡を軽減する。

提案手法

• 小物体検出に特化した、拡張された高分解能ピラミッドレベルを特徴ピラミッドネットワークに導入する。
• 低レベル特徴のスーパーレゾリューションと信頼性の高い局所的ディテール抽出を実現する、特徴テクスチャ転送（FTT）モジュールを設計する。
• FTTを特徴統合パスに統合し、高分解能レベルでの特徴品質を向上させる。
• フォアグラウンドとバックグラウンド領域の不均衡を軽減するため、サンプリング戦略を調整する新しい損失関数を提案する。
• 重いパラメータ拡張や複雑な演算を避けることで、計算量とメモリ使用量の効率性を維持する。
• 標準的な検出指標を用いて、Tsinghua-Tencent 100K および MS COCO といったベンチマークデータセットでモデルをトレーニングおよび評価する。

実験結果

リサーチクエスチョン

• RQ1 FPNベースの検出器において、専用の高分解能ピラミッドレベルを導入することで、小物体の特徴表現が向上するか？
• RQ2 特徴テクスチャ転送（FTT）モジュールは、小物体の特徴品質とディテール抽出にどの程度寄与するか？
• RQ3 フォアグラウンド・バックグラウンドバランス損失関数は、小物体検出におけるクラス不均衡に起因する性能低下を効果的に是正できるか？
• RQ4 小物体検出ベンチマークにおいて、EFPNは最先端の手法と比較して、精度と効率の両面で優れているか？
• RQ5 提案手法は、優れた性能を達成しつつも、高い効率性を維持できるか？

主な発見

• EFPNは、小物体の交通標識データセット Tsinghua-Tencent 100K で最先端の性能を達成した。
• EFPNは、MS COCO データセットの小物体カテゴリにおいても最先端の結果を達成した。
• 提案されたEFPNは、計算量とメモリ使用量の両面で高い効率性を維持した。
• 特徴テクスチャ転送（FTT）モジュールは、特徴のスーパーレゾリューションと局所的ディテール抽出を効果的に向上させた。
• フォアグラウンド・バックグラウンドバランス損失関数は、トレーニング中の面積不均衡を効果的に是正した。
• 高分解能ピラミッドレベルの統合により、小物体の検出精度が顕著に向上した。