[論文レビュー] Progressive Domain Adaptation with Contrastive Learning for Object Detection in the Satellite Imagery

Debojyoti Biswas, Jelena Tešić|arXiv (Cornell University)|Sep 6, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、衛星画像における小規模オブジェクト検出のための対照的学習を統合した段階的ドメイン適応フレームワーク、LGDAを提案する。空間ピラミッドプーリング、ヘッドマップベースの領域提案、および新たな難易度に配慮したフォーカル損失を統合することで、局所的およびグローバルな対照的学習を通じて特徴の学習とドメイン整合性を向上させ、DOTAおよびNWPU VHR-10ベンチマークで最先端手法よりも最大7.4%高いmAPを達成した。

ABSTRACT

State-of-the-art object detection methods applied to satellite and drone imagery largely fail to identify small and dense objects. One reason is the high variability of content in the overhead imagery due to the terrestrial region captured and the high variability of acquisition conditions. Another reason is that the number and size of objects in aerial imagery are very different than in the consumer data. In this work, we propose a small object detection pipeline that improves the feature extraction process by spatial pyramid pooling, cross-stage partial networks, heatmap-based region proposal network, and object localization and identification through a novel image difficulty score that adapts the overall focal loss measure based on the image difficulty. Next, we propose novel contrastive learning with progressive domain adaptation to produce domain-invariant features across aerial datasets using local and global components. We show we can alleviate the degradation of object identification in previously unseen datasets. We create a first-ever domain adaptation benchmark using contrastive learning for the object detection task in highly imbalanced satellite datasets with significant domain gaps and dominant small objects. The proposed method results in a 7.4% increase in mAP performance measure over the best state-of-art.

研究の動機と目的

• 地理的・環境的要因の変動が著しい衛星画像およびドローン画像における小規模かつ密集したオブジェクトの検出という課題に対処すること。
• 地理的要因、照明条件、画像取得条件の違いに起因するソースドメインとターゲットドメイン間のドメインシフトを克服すること。
• 対照的学習を用いて、リソースが限られた不均衡な空中画像データセットにおける特徴表現とモデルの汎化性能を向上させること。
• 複数の中間ドメインを介して特徴を段階的に整合させるドメイン適応パイプラインを構築し、ドメインギャップを低減すること。
• 顕著なドメインギャップとクラス不均衡を示すベンチマーク衛星データセットで最先端の性能を達成すること。

提案手法

• 空中画像における小規模で密集したオブジェクトの局所化を改善するため、ヘッドマップベースの領域提案ネットワーク（RPN）を導入する。
• 画像全体の難易度に応じて損失重みを動的に調整する、難易度に配慮したフォーカル損失を設計する。
• ソースドメインとターゲットドメイン間の細粒度で空間的に局所化された特徴を対照的学習（LDA）により整列させる、局所的特徴整列を実装する。
• 高感受野特徴を用いた対照的学習によるグローバルドメイン整列（GDA）を提案し、意味論的レベルのドメイン不変性を捉える。
• LDAとGDAモジュールをマルチスケール特徴統合を伴う統合的段階的ドメイン適応フレームワーク（LGDA）に統合する。
• 対照的学習の安定性を高めるために、負例数（7）、温度係数（12%のペナルティ）、トレーニングスケジュール（60エポック）などのハイパーパrameterを最適化する。

実験結果

リサーチクエスチョン

• RQ1 地理的・環境的変動が著しい衛星画像において、対照的学習はドメインシフトを効果的に低減できるか？
• RQ2 中間ドメインを介した段階的ドメイン適応は、多様な空中データセットにおける小規模オブジェクト検出の汎化性能をどのように向上させるか？
• RQ3 クラス不均衡で変動が著しい衛星データセットにおいて、難易度に配慮した損失再重み付けは、検出性能をどの程度向上させるか？
• RQ4 負例数（例：7個）、温度係数などのハイパーパrameter設定は、小規模オブジェクト検出における対照的学習性能を最適化するためにどのように影響するか？
• RQ5 局所的およびグローバルな対照的整列を併用することで、単一レベルの整列よりも優れたmAPが達成できるか？

主な発見

• 提案されたLGDA手法は、DOTAターゲットデータセットで46.7%のmAPを達成し、最良の既存手法（MGADA）を+7.3%のmAP上回った。
• NWPU VHR-10データセットでは、LGDAが71.4%のmAPを達成し、MGADAを+4.6%上回った。
• 損失関数に重み0.1を設定した局所的対照的学習（LDA）は、DOTAとNWPUの両方でそれぞれ8%以上、12%以上のmAP向上を達成した。
• 重みを0.01に設定したグローバルドメイン整列（GDA）はLDAを上回り、高レベルの意味論的整列の重要性を示した。
• 対照的損失ごとに7個の負例を使用すると最適なバランスが得られ、それ以上に増やすと不均衡データにおける誤検出（誤った負例）が増加し、性能が低下した。
• 対照的損失に12%のペナルティを適用し、60エポックで訓練すると最良の性能が得られ、さらに長く訓練するか、ペナルティを大きくすると結果が劣化した。