[論文レビュー] ShipSRDet: An End-to-End Remote Sensing Ship Detector Using Super-Resolved Feature Representation

Shitian He, Huanxin Zou+3 more|arXiv (Cornell University)|Mar 17, 2021

Advanced Image Processing Techniques参考文献 12被引用数 4

ひとこと要約

本稿では、超解像（SR）と船検出の両方を統合的に最適化するエンドツーエンドの深層学習フレームワーク、ShipSRDetを提案する。SRネットワークと検出ネットワークの間接的特徴を統合することで、中間特徴を融合する。超高解像度画像と特徴表現を統合することで、HRSCデータセット上で64.50%のmAPを達成した。これは、真の高解像度画像上で検出を実行した際の68.80%のmAPにほぼ等しく、SRから得られる特徴レベルの知識移行が、単なる画像レベルのSRを超えて検出性能を向上させることを示している。

ABSTRACT

High-resolution remote sensing images can provide abundant appearance information for ship detection. Although several existing methods use image super-resolution (SR) approaches to improve the detection performance, they consider image SR and ship detection as two separate processes and overlook the internal coherence between these two correlated tasks. In this paper, we explore the potential benefits introduced by image SR to ship detection, and propose an end-to-end network named ShipSRDet. In our method, we not only feed the super-resolved images to the detector but also integrate the intermediate features of the SR network with those of the detection network. In this way, the informative feature representation extracted by the SR network can be fully used for ship detection. Experimental results on the HRSC dataset validate the effectiveness of our method. Our ShipSRDet can recover the missing details from the input image and achieves promising ship detection performance.

研究の動機と目的

• 従来のSRベースの船検出手法が、超解像と検出を独立した非相互作用的プロセスとして扱うという制限を解消すること。
• 超解像ネットワークの間接的特徴表現が、単に超解像画像を使用するのを越えて、船検出性能を向上させることを検証すること。
• 特徴レベルの統合を用いて、超解像と船検出を同時に最適化するエンドツーエンドで学習可能なフレームワークを設計すること。
• 超解像特徴表現の有効性を、リモートセンシング画像の検出精度向上に寄与するかどうかを検証すること。
• 超解像ネットワークと検出ネットワークの特徴レベル統合が、単なる画像レベルのSRに比べて性能向上をもたらすことを示すこと。

提案手法

• 本手法は二重ブランチアーキテクチャを採用する：超解像（SR）モジュールは残差密ブロック（RDB）に基づき、検出モジュールはVGG-16バックボーンを搭載したSSDに基づく。
• SRモジュールは、超解像画像に加え、低解像度入力（$\mathcal{F}^{LR}_{out}$）と高解像度出力（$\mathcal{F}^{HR}_{out}$）の2つの中間特徴を生成する。両者とも64チャンネルの次元を持つ。
• 検出モジュールは、$\mathcal{F}^{LR}_{out}$ と $\mathcal{F}^{HR}_{out}$ をそれぞれ256チャンネルと64チャンネルに投影することで特徴変換を実行し、VGG-16の特徴次元に一致させる。
• 変換された特徴は、VGG-16ネットワークの第2層および第7層に加算され、検出表現の向上を図るためのネットワーク間特徴統合が可能になる。
• SRと検出の目的関数を統合的に最適化することで、全ネットワークをエンドツーエンドで学習可能とし、SRネットワークが検出に適した詳細に適応できるようにする。
• 特徴のアップサンプリングにはサブピクセル畳み込み層を用い、トレーニングの安定化と低レベル特徴の保持のためスキップ接続を適用する。

Fig. 1 : Visual results achieved by our ShipSRDet on the HRSC dataset [ 7 ] . Our method recovers missing details in the input image and achieves promising detection performance.

実験結果

リサーチクエスチョン

• RQ1 超解像ネットワークの間接的特徴表現が、単に超解像画像を使用するのを越えて、リモートセンシング船検出性能を向上させることができるか？
• RQ2 事前学習済みSRを用いた検出の微調整と比較して、超解像と検出をエンドツーエンドで統合的に学習させることは、どのような差異を生じるか？
• RQ3 超解像ネットワークと検出ネットワークの特徴レベル統合が、リモートセンシング画像の検出mAPに果たす寄与度はどの程度か？
• RQ4 bicubicアップサンプリングや事前学習済みSRネットワークを用いたベースライン手法と比較して、本手法の性能はどのように異なるか？
• RQ5 特徴統合型SRが、真の高解像度画像上で達成される検出の上限性能（上界）に比べて、どの程度検出精度を向上させられるか？

主な発見

• ShipSRDetはHRSCデータセット上で64.50%の平均平均精度（mAP）を達成し、ベースラインのBicubic+SSD（58.80%）および事前学習済みSRnet+SSD（60.10%）を著しく上回った。
• SRnet+SSDのエンドツーエンド微調整により、mAPが3.70%向上し63.80%に達した。これは、検出に適応したSR学習の利点を示している。
• 本手法が提案する特徴統合により、(SRnet+SSD)_ftよりさらに0.70%のmAP向上が達成された。これは、中間特徴の統合が検出性能をさらに向上させることを示している。
• 本手法は、真の高解像度画像上で達成される68.80%のmAPという上界に非常に近い性能を達成しており、強力な性能回復が可能であることを示している。
• 可視化結果から、ShipSRDetは低解像度入力において細部を回復させ、bicubic補間と比較して誤検出と見逃し検出を低減していることが確認された。
• ShipSRDetの平均推論時間は128×128画像あたり190 msであり、真の高解像度画像上で直接検出を行う場合の81 msよりもわずかに遅い。これは、顕著な精度向上に見合う小さな効率的トレードオフである。

Fig. 2 : An overview of our ShipSRDet .