[論文レビュー] SuperYOLO: Super Resolution Assisted Object Detection in Multimodal Remote Sensing Imagery

Jiaqing Zhang, Jie Lei+4 more|arXiv (Cornell University)|Sep 27, 2022

Advanced Image Fusion Techniques被引用数 16

ひとこと要約

SuperYOLOは、トレーニング中に超解像（SR）ガイドランスを活用することで、高分解能特徴の学習を強化し、小さな物体の検出性能を向上させる軽量でリアルタイム対応のオブジェクト検出フレームワークを提案する。推論時にはSRブランチを削除することで、計算コストを低く保つ。VEDAIで75.09%のmAP50を達成し、YOLOv5xなどの最先端モデルを10%以上上回り、パラメータ数は18倍少ない、GFLOPsは3.8倍少ない。

ABSTRACT

Accurately and timely detecting multiscale small objects that contain tens of pixels from remote sensing images (RSI) remains challenging. Most of the existing solutions primarily design complex deep neural networks to learn strong feature representations for objects separated from the background, which often results in a heavy computation burden. In this article, we propose an accurate yet fast object detection method for RSI, named SuperYOLO, which fuses multimodal data and performs high-resolution (HR) object detection on multiscale objects by utilizing the assisted super resolution (SR) learning and considering both the detection accuracy and computation cost. First, we utilize a symmetric compact multimodal fusion (MF) to extract supplementary information from various data for improving small object detection in RSI. Furthermore, we design a simple and flexible SR branch to learn HR feature representations that can discriminate small objects from vast backgrounds with low-resolution (LR) input, thus further improving the detection accuracy. Moreover, to avoid introducing additional computation, the SR branch is discarded in the inference stage, and the computation of the network model is reduced due to the LR input. Experimental results show that, on the widely used VEDAI RS dataset, SuperYOLO achieves an accuracy of 75.09% (in terms of mAP50 ), which is more than 10% higher than the SOTA large models, such as YOLOv5l, YOLOv5x, and RS designed YOLOrs. Meanwhile, the parameter size and GFLOPs of SuperYOLO are about 18 times and 3.8 times less than YOLOv5x. Our proposed model shows a favorable accuracy and speed tradeoff compared to the state-of-the-art models. The code will be open-sourced at https://github.com/icey-zhang/SuperYOLO.

研究の動機と目的

• 遠隔センシング画像（RSI）において、しばしば数ピクセル程度の小さなマルチスケール物体を高精度かつ低計算コストで検出する課題に対処すること。
• RGBと赤外画像のマルチモーダルデータを、軽量で対称的なコンact融合機構を用いて統合することで、検出性能を向上させること。
• 推論時の複雑さを増さずに、小さな物体の特徴表現を強化するために、トレーニング時のみに学習可能なSRブランチを導入すること。
• 推論時にSRブランチを削除することで、元のモデルの効率性を保ちながら、精度と速度の良好なトレードオフを達成すること。

提案手法

• RGBと赤外モダリティのピクセルレベルで補完的特徴を抽出するため、計算コストを低く抑えた対称的でコンactなマルチモーダル統合（MF）モジュールを設計した。
• 解像度の低下を防ぐために、焦点モジュール（Focus module）をバックボーンネットワークから削除し、小さな密集物体の局所化を向上させた。
• トレーニング時に単純で柔軟な超解像（SR）ブランチを導入し、小さな物体が複雑な背景から区別できる高分解能特徴を学習するようにネットワークをガイドした。
• 推論時にはSRブランチを削除することで、追加の計算負荷が生じず、元のモデルの推論速度とパラメータ数を維持した。
• 検出とSRの両方の監視を組み合わせたジョイント損失関数を用いてトレーニングすることで、特徴抽出器が小さな物体の判別的表現を学習できるようにした。
• 最終的なモデルは、mAP50を主指標として、VEDAI、DOTA、NWPU、DIORの各データセットで評価され、アブレーションスタディにより各コンponentの貢献度が検証された。

実験結果

リサーチクエスチョン

• RQ1 推論コストを増加させずに、トレーニング時に超解像ガイドランスを用いることで、低解像度の遠隔センシング画像における小さな物体検出性能が向上するか？
• RQ2 RGBと赤外データのマルチモーダル統合は、複雑な背景における小さな物体の検出精度をどのように向上させるか？
• RQ3 推論時に削除される軽量なSRブランチは、小さな物体の特徴表現をどの程度向上させることができるか？
• RQ4 YOLOベースの検出器にSRとマルチモーダル統合を統合する際、検出精度、モデルサイズ、計算コストのトレードオフはどのように変化するか？
• RQ5 さまざまな遠隔センシングベンチマークにおいて、SuperYOLOはmAP50、パラメータ数、GFLOPsの観点から最先端モデルと比較してどのように差をつけるか？

主な発見

• VEDAIデータセットでは、SuperYOLOは75.09%のmAP50を達成し、YOLOv5sより18.30%高く、YOLOv5xより12.44%以上も高い。
• DOTA、NWPU、DIORデータセットにおいても、SuperYOLOは最先端の性能を達成し、mAP50スコアはそれぞれ69.99%、93.30%、71.82%であった。
• DOTAではモデルに7.70Mパラメータと20.89 GFLOPsしかなく、YOLOv5xと比較してパラメータ数が18倍少なく、計算コストは3.8倍低い。
• アブレーションスタディにより、焦点モジュールの削除が小さな物体検出性能を向上させ、SRブランチが推論速度に影響を与えずに性能を著しく向上させることが確認された。
• 対称的でコンactなマルチモーダル統合モジュールは、すべてのデータセットで特徴表現を効果的に向上させ、検出精度の向上に寄与した。
• SRブランチは小さな物体の高分解能特徴を学習するのに有効であり、推論時に削除されることで、性能の低下や追加の遅延が生じないことが確認された。