[論文レビュー] IPG-Net: Image Pyramid Guidance Network for Small Object Detection

Ziming Liu, Guangyu Gao+2 more|arXiv (Cornell University)|Dec 2, 2019

Advanced Neural Network Applications参考文献 30被引用数 7

ひとこと要約

本稿では、空間的に豊富な浅い画像ピラミッド特徴を、軽量な変換および適応的統合モジュールを介して深層バックボーン層に統合することにより、オブジェクト検出における特徴の不一致と情報のアンバランスを軽減する新規な画像ピラミッドガイダンスネットワーク（IPG-Net）を提案する。本手法は、単一スケール推論を用いてPascal VOC 2007で85.9%のmAP、MS COCO test-devで45.7%のmAPを達成し、最先端の性能を示した。

ABSTRACT

For Convolutional Neural Network-based object detection, there is a typical dilemma: the spatial information is well kept in the shallow layers which unfortunately do not have enough semantic information, while the deep layers have a high semantic concept but lost a lot of spatial information, resulting in serious information imbalance. To acquire enough semantic information for shallow layers, Feature Pyramid Networks (FPN) is used to build a top-down propagated path. In this paper, except for top-down combining of information for shallow layers, we propose a novel network called Image Pyramid Guidance Network (IPG-Net) to make sure both the spatial information and semantic information are abundant for each layer. Our IPG-Net has two main parts: the image pyramid guidance transformation module and the image pyramid guidance fusion module. Our main idea is to introduce the image pyramid guidance into the backbone stream to solve the information imbalance problem, which alleviates the vanishment of the small object features. This IPG transformation module promises even in the deepest stage of the backbone, there is enough spatial information for bounding box regression and classification. Furthermore, we designed an effective fusion module to fuse the features from the image pyramid and features from the backbone stream. We have tried to apply this novel network to both one-stage and two-stage detection models, state of the art results are obtained on the most popular benchmark data sets, i.e. MS COCO and Pascal VOC.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）ベースのオブジェクト検出器における浅層と深層の間の情報のアンバランスを解消すること。浅層は空間的詳細を保持しているが意味的特徴に欠け、深層は空間的精度を失う。
• 特に小規模オブジェクト検出に影響を及げる、より深い畳み込み層における空間情報の損失に起因する特徴の不一致を軽減すること。
• ガイドド特徴統合を通じて、深層特徴マップにおける空間的詳細を保持することにより、小規模および極小オブジェクトの検出性能を向上させること。
• 既存の検出フレームワークを大幅に再設計することなく、柔軟かつ軽量なモジュールを設計すること。

提案手法

• 小規模オブジェクト向けに空間的詳細を保持することを重視した、マルチスケール画像ピラミッドから空間的に豊富な特徴を抽出する画像ピラミッドガイダンス（IPG）変換モジュールを導入する。
• バックボーンネットワークの各段階にIPG変換を適用し、深層特徴よりも空間的に正確なガイダンス特徴を生成する。
• 共有された隠れ空間内で和、積、連結などの演算を用いて、バックボーン特徴とIPG特徴を整列・統合するIPG統合モジュールを採用する。
• 特徴の投影と次元の整合性をとることで、バックボーン特徴とIPGガイダンス特徴の間の互換性を保証し、統合を可能にする。
• アブレーションスタディの結果、計算コストを最小限に抑えつつ最適なパフォーマンスが得られるため、ResNetバックボーンの段階3に統合モジュールを適用する。
• 1段階検出器（例：RetinaNet）および2段階検出器（例：Faster R-CNN、Cascade R-CNN）の両方をサポートし、広範な互換性を示した。

実験結果

リサーチクエスチョン

• RQ1 深層バックボーン層に画像ピラミッド特徴を統合することで、特徴の不一致を軽減し、小規模オブジェクトの検出精度を向上させることができるか？
• RQ2 提案されたIPG-Netは、標準的なFPNや他の特徴統合手法と比較して、空間的および意味的情報をどのように効果的に保持しているか？
• RQ3 IPG統合戦略は、1段階検出器および2段階検出器を含む、さまざまな検出アーキテクチャにおいて一貫した向上をもたらすか？
• RQ4 ResNetベースのバックボーンにおけるIPGモジュールの最適な統合位置と深さは何か？
• RQ5 IPG-Netは、単一スケール推論を用いて、MS COCOやPascal VOCといった標準ベンチマークで最先端の性能を達成できるか？

主な発見

• マルチスケール推論を用いた場合、IPG-NetはPascal VOC 2007のテストセットで85.9%のmAPを達成し、新たな最先端の結果を樹立した。
• 単一スケール推論を用いた場合、IPG-NetはMS COCO test-devで45.7%のmAPを達成し、既存の1段階および2段階検出器を上回った。
• Faster R-CNNの性能は、マルチスケールテストを用いることで0.7% mAP（79.8%から80.5%）向上し、さらに1.9% mAP（81.6%）の向上を達成した。
• 1段階検出器（例：RetinaNet）では、深層特徴に大きく依存するため、2段階モデルに比べてより顕著な向上（0.6% mAP向上）を示した。
• アブレーションスタディの結果、ResNetの段階3にIPG特徴を統合すると、計算コストを最小限に抑えつつ最適なパフォーマンスが得られると確認された。
• IPG統合モジュールは、和、積、連結といったさまざまな統合演算において有効であり、連結演算が最も一貫した向上を示した。