[論文レビュー] Deep Adaptive Proposal Network for Object Detection in Optical Remote Sensing Images

Lin Cheng, Xu Liu+3 more|arXiv (Cornell University)|Jul 19, 2018

Remote-Sensing Image Classification参考文献 30被引用数 13

ひとこと要約

本論文は、光学的リモートセンシング画像向けに、Faster R-CNNにカテゴリ PRIOR ネットワーク（CPN）を統合して、適応的でカテゴリに依存する領域提案を生成する、新たな2段階型オブジェクト検出フレームワーク「Deep Adaptive Proposal Network（DAPNet）」を提案する。DAPNetは、オブジェクト密度とカテゴリに応じて、画像ごとの提案数を動的に調整し、NWPU VHR-10データセットで最先端の平均mAPを達成するとともに、Faster R-CNN や他の最先端手法と比較して、精度が向上し、計算コストが低減されている。

ABSTRACT

Object detection is a fundamental and challenging problem in aerial and satellite image analysis. More recently, a two-stage detector Faster R-CNN is proposed and demonstrated to be a promising tool for object detection in optical remote sensing images, while the sparse and dense characteristic of objects in remote sensing images is complexity. It is unreasonable to treat all images with the same region proposal strategy, and this treatment limits the performance of two-stage detectors. In this paper, we propose a novel and effective approach, named deep adaptive proposal network (DAPNet), address this complexity characteristic of object by learning a new category prior network (CPN) on the basis of the existing Faster R-CNN architecture. Moreover, the candidate regions produced by DAPNet model are different from the traditional region proposal network (RPN), DAPNet predicts the detail category of each candidate region. And these candidate regions combine the object number, which generated by the category prior network to achieve a suitable number of candidate boxes for each image. These candidate boxes can satisfy detection tasks in sparse and dense scenes. The performance of the proposed framework has been evaluated on the challenging NWPU VHR-10 data set. Experimental results demonstrate the superiority of the proposed framework to the state-of-the-art.

研究の動機と目的

• 固定された領域提案数を用いる手法（例：Faster R-CNN）が、オプティカルリモートセンシング画像における変動するオブジェクト密度（疎らか・密集）に起因する性能制限を解消すること。
• コンテンツの複雑さに関係なく、同じ数の領域提案を用いることによる非効率性と最適でない性能を是正すること。
• 提案生成プロセスにカテゴリ固有の事前知識を組み込むことで、特に小形およびレアオブジェクトの検出精度を向上させること。
• 学習済みカテゴリ事前知識に基づく適応的提案生成により、計算コストを低減しながらも、検出性能を維持または向上させること。
• 高解像度リモートセンシング画像のための挑戦的なNWPU VHR-10ベンチマークデータセットで、最先端の検出精度を達成すること。

提案手法

• バックボーンネットワークの高レベル特徴を用いて、各候補領域が特定のオブジェクトカテゴリに属する確率を予測するカテゴリ事前知識ネットワーク（CPN）を導入する。
• CPNの出力をFaster R-CNNの領域提案ネットワーク（F-RPN）と統合し、固定サイズの提案ではなく、適応的でカテゴリに依存する領域提案を生成する。
• 予測されたカテゴリ確率を用いて、画像ごとの領域提案数を動的に調整し、密集したシーンでは十分なカバレッジを確保し、疎らかでないシーンでは少ない提案数を確保する。
• Faster R-CNNと同様にVGG-16バックボーンとImageNet事前学習済み重みを用い、RPNとCPNブランチの共同最適化により、DAPNetをエンドツーエンドで訓練する。
• F-RPNがマルチスケール特徴マップを用いて領域提案を生成する一方、CPNが意味的カテゴリ事前知識に基づいて提案選択をガイドする。
• F-RPN出力とCPNが予測したクラススコアを組み合わせる微分可能で提案選択メカニズムを適用し、最適化された適応的提案の最終セットを生成する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なカテゴリ事前知識ネットワークは、シーン固有のオブジェクト密度と分布に適応することで、リモートセンシングオブジェクト検出における領域提案品質を向上させることができるか？
• RQ2 カテゴリ事前知識に基づく適応的提案生成は、Faster R-CNNのような固定提案手法と比較して、検出精度と推論効率にどのように影響を与えるか？
• RQ3 提案されたDAPNetフレームワークは、多様なオブジェクトスケールと密度を有するリモートセンシングデータセットにおいて、既存の2段階検出器をどの程度上回るか？
• RQ4 DAPNetはなぜ一部の小形オブジェクトカテゴリ（例：貯蔵タンク）において限定的な改善しか示さないのか？これは高レベル特徴における特徴表現の制限に起因する可能性があるか？
• RQ5 カテゴリ事前知識の統合により、特に疎らかでないシーンにおいて、検出性能を損なわず提案数を削減できるか？

主な発見

• DAPNetは、航空機クラスにおいてFaster R-CNNより8.99%高い平均平均精度（mAP）を達成し、テニスコートで8.43%、バスケットコートで7.74%、港で5.33%、橋で8.97%の向上を示した。
• カテゴリ事前知識ネットワーク（CPN）の追加により、ベースラインのF-Faster R-CNNモデルと比較してmAPが1.23%向上し、特に貯蔵タンクおよび車両カテゴリで性能向上が顕著であった。
• RICNNと比較してmAPが低くても、DAPNetははるかに少ない領域提案数と低い計算コストでこれを達成しており、効率性の向上を示している。
• DAPNetは1枚あたりの平均推論時間を0.408秒にまで短縮し、Faster R-CNN（0.289 s）よりも高いmAPを維持しながらも、競争力ある速度を保ち、RICNN（8.83 s） や FDDL（7.54 s） と比較して顕著に計算コストを低減している。
• 定性的な結果から、DAPNetは10クラス中8クラスでFaster R-CNNより優れた検出性能を示しており、特に港や橋のような密集したシーンで誤検出が少なく、良好な性能を発揮している。
• 学習済みカテゴリ事前知識に基づく提案数の適応的調整により、DAPNetは疎らかでも密集したシーンでも安定した性能を示し、適応的提案メカニズムの有効性を確認した。