[論文レビュー] On the Robustness of Object Detection Models on Aerial Images

Haodong He, Jian Ding+2 more|arXiv (Cornell University)|Aug 29, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、空中画像におけるオブジェクト検出モデルのロバストネスを評価するための2つの新しいベンチマークを紹介する。1つは19種類の一般的な汚染を含み、もう1つは空中画像に多く見られるが自然画像ではまれな雲による汚染に特化している。研究では、大規模なモデル、改善されたバックボーンアーキテクチャ（例：ConvNeXt-T、Swin-L）、回転不変モジュール（RiRoI Align）、および戦略的なデータ拡張が、特に雲由来の汚染および分布外条件下でロバストネスを顕著に向上させることを明らかにした。

ABSTRACT

The robustness of object detection models is a major concern when applied to real-world scenarios. The performance of most models tends to degrade when confronted with images affected by corruptions, since they are usually trained and evaluated on clean datasets. While numerous studies have explored the robustness of object detection models on natural images, there is a paucity of research focused on models applied to aerial images, which feature complex backgrounds, substantial variations in scales, and orientations of objects. This paper addresses the challenge of assessing the robustness of object detection models on aerial images, with a specific emphasis on scenarios where images are affected by clouds. In this study, we introduce two novel benchmarks based on DOTA-v1.0. The first benchmark encompasses 19 prevalent corruptions, while the second focuses on the cloud-corrupted condition-a phenomenon uncommon in natural images yet frequent in aerial photography. We systematically evaluate the robustness of mainstream object detection models and perform necessary ablation experiments. Through our investigations, we find that rotation-invariant modeling and enhanced backbone architectures can improve the robustness of models. Furthermore, increasing the capacity of Transformer-based backbones can strengthen their robustness. The benchmarks we propose and our comprehensive experimental analyses can facilitate research on robust object detection on aerial images. The codes and datasets are available at: https://github.com/hehaodong530/DOTA-C.

研究の動機と目的

• 空中画像におけるオブジェクト検出モデルのロバストネスを評価するための標準化されたベンチマークの不足に応えること、特に現実の汚染下での評価を目的とする。
• 一般的な画像汚染および空中画像に特有の雲による歪みが、最先端のオブジェクト検出モデルの空中データセット上での性能に与える影響を調査すること。
• 分布シフト下での空中オブジェクト検出におけるロバストネスを向上させるアーキテクチャ的要因およびトレーニング戦略要因を同定すること。
• 未観測の汚染タイプを含む分布外データに対する主流モデルの包括的評価を実施すること。
• バックボーン選択、モデル容量、データ拡張に関するアブレーションスタディを通じて、よりロバストな空中オブジェクト検出器を設計するための実用的知見を提供すること。

提案手法

• ImageNet-Cから抽出した19種類の標準的汚染を、DOTA-v1.0に基づいて5段階の深刻度レベルにわたり適用することで、汚染ベンチマークを構築した。
• 本物の衛星画像から抽出した大気中の雲を、クリーンな空中画像に合成することで、リアルなシミュレーションを実現する新しい雲汚染ベンチマークを開発した。
• トレーニング中に汚染にさらされない状態で、クリーンおよび汚染済みのテストセットに対して、多数の最先端オブジェクト検出モデル（例：RoI Transformer、ReDet）を訓練および評価した。
• バックボーンアーキテクチャ（ResNet、ConvNeXt、Swin）、モデル容量（パラメータ数）、モジュール（RiRoI Align）およびデータ拡張戦略（RandomRotate、Mosaic）に関するアブレーションスタディを実施した。
• mAP@50、rPC（相対的性能低下率）、$ PC_{\text{clouds}}$ を用いて、汚染タイプおよび深刻度レベルに応じたロバストネスを定量化した。
• ノイズ、ぼかし、天候、デジタルの汚染カテゴリ間で比較分析を行い、異なる劣化タイプ下でのモデルの耐性を評価した。

実験結果

リサーチクエスチョン

• RQ1 主流のオブジェクト検出モデルは、明るさ、雪、ぼかしなどの一般的な画像歪みが加えられた空中画像上で、どのように性能を示すか？
• RQ2 空中画像に多く見られるが自然画像ではまれな雲汚染が、最先端モデルの検出性能にどの程度影響を及えるか？
• RQ3 バックボーンやアテンションモジュールなどのアーキテクチャ的要素、およびデータ拡張などのトレーニング戦略が、分布外汚染下でのロバストネスを向上させる要因として、どの程度有効か？
• RQ4 モデル容量の増大（例：Swin-TからSwin-Lに）が、さまざまな汚染タイプ下でのロバストネスに与える影響は何か？
• RQ5 RandomRotate や Mosaic といったデータ拡張技術は、一貫してロバストネス向上に寄与するのか、それとも汚染タイプによって効果が異なるのか？

主な発見

• RoI Transformer や ReDet を含む、すべての評価対象モデルが、汚染済み空中画像において顕著に性能を低下させ、深刻な汚染下では平均でmAP@50が最大40%低下した。
• バックボーンを ConvNeXt-T や Swin-L に置き換えることで、ロバストネスが最も顕著に向上し、汚染タイプ全体で平均してrPCが15ポイント以上上昇した。
• RiRoI Align モジュールはぼかし汚染下でのロバストネスを顕著に向上させ、標準的な RoI Align と比較してrPCを6%以上改善した。
• 大規模モデル（例：Swin-L）は、すべての汚染タイプで小規模バージョン（例：Swin-T）を上回り、天候汚染下ではrPCが最大17%上昇した。
• RandomRotate や Mosaic といったデータ拡張戦略は一貫した利点を示さず、デジタル汚染下ではMosaicが性能を低下させた。これは、ロバストネス向上に向けた一般化の限界を示唆している。
• ConvNeXt-T バックボーンを搭載したモデルは、ノイズ汚染（47.17%）および天候汚染（74.82%）で最高のrPCを達成したが、ReDetはぼかし汚染（56.77%）で最高のrPCを記録した。これは、アーキテクチャに特化した設計の重要性を示している。