[論文レビュー] MFPN: A Novel Mixture Feature Pyramid Network of Multiple Architectures for Object Detection

Tingting Liang, Yongtao Wang+4 more|arXiv (Cornell University)|Dec 20, 2019

Advanced Neural Network Applications参考文献 24被引用数 10

ひとこと要約

本稿では、トップダウン、ボトムアップ、融合-分割 FPN アーキテクチャを並列なマルチブランチ構造で統合した新規な混合特徴ピラミッドネットワーク（MFPN）を提案する。3種類の異なる FPN 変種からの特徴を統合することで、MFPN は MS-COCO で平均精度（AP）を約 2% 向上させつつ、遅延の増加を最小限に抑え、小・中・大のオブジェクトの検出性能を顕著に向上させる。

ABSTRACT

Feature pyramids are widely exploited in many detectors to solve the scale variation problem for object detection. In this paper, we first investigate the Feature Pyramid Network (FPN) architectures and briefly categorize them into three typical fashions: top-down, bottom-up and fusing-splitting, which have their own merits for detecting small objects, large objects, and medium-sized objects, respectively. Further, we design three FPNs of different architectures and propose a novel Mixture Feature Pyramid Network (MFPN) which inherits the merits of all these three kinds of FPNs, by assembling the three kinds of FPNs in a parallel multi-branch architecture and mixing the features. MFPN can significantly enhance both one-stage and two-stage FPN-based detectors with about 2 percent Average Precision(AP) increment on the MS-COCO benchmark, at little sacrifice in running time latency. By simply assembling MFPN with the one-stage and two-stage baseline detectors, we achieve competitive single-model detection results on the COCO detection benchmark without bells and whistles.

研究の動機と目的

• 既存の FPN アーキテクチャの限界を分析することで、オブジェクト検出におけるスケール変動に対処すること。
• 小、大、中サイズのオブジェクトの検出に最適化された、3 種類の専用 FPN 変種（トップダウン、ボトムアップ、融合-分割）を設計すること。
• 3 種類の FPN の長所を統合した統一された混合特徴ピラミッドネットワーク（MFPN）を提案し、より優れたマルチスケール特徴学習を実現すること。
• 推論遅延を増加させることなく、ワンステージおよびツーステージ検出器の両方で一貫した性能向上を達成すること。

提案手法

• 小オブジェクト検出を向上させるために、高レベルの意味情報を低レベル特徴に統合するトップダウン FPN を設計する。
• 大オブジェクト検出を強化するために、低レベルの空間的詳細を高レベル特徴に統合するボトムアップ FPN を提案する。
• 中オブジェクト検出を改善するために、高レベルと低レベル特徴を最初に融合し、その後マルチスケール出力に分割する融合-分割 FPN を導入する。
• 3 種類の FPN 変種をそれぞれ実装するブランチを並列に配置したマルチブランチアーキテクチャとして MFPN を構築し、ブランチ間での特徴混合を可能にする。
• 3 つのブランチの出力を要素ごとの加算または連結によって統合し、統一的で豊富な特徴ピラミッドを形成する。
• MFPN を、計算コストの増加を最小限に抑える形で、ワンステージ（例：RetinaNet）およびツーステージ（例：Faster R-CNN、Cascade Mask R-CNN）検出器に統合する。

実験結果

リサーチクエスチョン

• RQ1 異なる特徴フロー・パターンを持つ複数の FPN アーキテクチャを組み合わせることで、単一アーキテクチャの FPN を超えてマルチスケールオブジェクト検出を向上させられるか？
• RQ2 トップダウン、ボトムアップ、および融合-分割 FPN を並列に統合したマルチブランチ設計は、従来の FPN よりも優れた特徴表現を実現するか？
• RQ3 MFPN は、小・中・大オブジェクトのカテゴリを同時にどれほど向上させられるか？
• RQ4 MFPN は、推論遅延を増加させず、複雑なトレーニング戦略を必要とせずに顕著な AP 向上を達成できるか？

主な発見

• MFPN は、推論遅延を増加させることなく、RetinaNet-ResNeXt-101 の平均精度（AP）を 2.1% 向上させる。
• MFPN は、Cascade Mask R-CNN-ResNet101 の AP を 1.6% 向上させつつ、遅延が 8ms 増加するにとどまる。
• トップダウン FPN は小オブジェクトで最高の AP（15.2）を達成し、ボトムアップ FPN は大オブジェクトで最高（48.7）、融合-分割 FPN は中オブジェクトで最高（38.5）を記録する。
• MFPN は、単一の RetinaNet モデルを用いて MS-COCO の test-dev で 43.4 AP を達成し、他のすべてのワンステージ検出器を上回る。
• MFPN は、単一の Cascade Mask R-CNN モデルを用いて MS-COCO の test-dev で 47.6 AP を達成し、画像ピラミッドトレーニングとテストを用いる SNIPER や TridentNet よりも優れた性能を示す。
• 可視化により、標準的な FPN よりも MFPN がすべてのオブジェクトスケールでより明確で正確な特徴応答を学習していることが確認された。