[論文レビュー] OrientedFormer: An End-to-End Transformer-Based Oriented Object Detector in Remote Sensing Images

Jiaqi Zhao, Zeyu Ding+5 more|arXiv (Cornell University)|Sep 29, 2024

Remote-Sensing Image Classification被引用数 4

ひとこと要約

OrientedFormerは、リモートセンシング画像におけるオrientedオブジェクト検出のためのエンドツーエンドのトランスフォーマー基盤検出器を提案する。角度符号化、幾何的関係モデリング、特徴の不一致を解決するために、ガウス位置符号化、ワッサーシュタイン自己注意、オrientedクロス注意を導入している。DIOR-RおよびDOTA-v1.0では、それぞれ+1.16および+1.21のAP50を達成し、最先端の性能を発揮するとともに、学習を3×エポックから1×エポックに短縮した。

ABSTRACT

Oriented object detection in remote sensing images is a challenging task due to objects being distributed in multi-orientation. Recently, end-to-end transformer-based methods have achieved success by eliminating the need for post-processing operators compared to traditional CNN-based methods. However, directly extending transformers to oriented object detection presents three main issues: 1) objects rotate arbitrarily, necessitating the encoding of angles along with position and size; 2) the geometric relations of oriented objects are lacking in self-attention, due to the absence of interaction between content and positional queries; and 3) oriented objects cause misalignment, mainly between values and positional queries in cross-attention, making accurate classification and localization difficult. In this paper, we propose an end-to-end transformer-based oriented object detector, consisting of three dedicated modules to address these issues. First, Gaussian positional encoding is proposed to encode the angle, position, and size of oriented boxes using Gaussian distributions. Second, Wasserstein self-attention is proposed to introduce geometric relations and facilitate interaction between content and positional queries by utilizing Gaussian Wasserstein distance scores. Third, oriented cross-attention is proposed to align values and positional queries by rotating sampling points around the positional query according to their angles. Experiments on six datasets DIOR-R, a series of DOTA, HRSC2016 and ICDAR2015 show the effectiveness of our approach. Compared with previous end-to-end detectors, the OrientedFormer gains 1.16 and 1.21 AP$_{50}$ on DIOR-R and DOTA-v1.0 respectively, while reducing training epochs from 3$ imes$ to 1$ imes$. The codes are available at https://github.com/wokaikaixinxin/OrientedFormer.

研究の動機と目的

• リモートセンシング画像における任意の向きのオブジェクトを検出する課題に取り組む。これは、多様な向き、密集した配置、スケールの変動のため、局所化および分類が困難である。
• トランスフォーマーをオrientedオブジェクト検出に拡張する際の3つの主要な制限を克服する：角度符号化、自己注意における幾何的関係モデリングの欠如、クロス注意における不一致。
• NMSのような後処理を排除し、1対1のラベル割り当てを可能にするエンドツーエンドフレームワークを設計することで、学習効率と検出精度を向上させる。
• CNNベースの検出器と同等の性能を発揮しながら、学習エポックを3×から1×に短縮し、実用的導入を促進する。

提案手法

• ガウス位置符号化を導入し、2次元ガウス分布を用いて、オrientedバウンディングボックスの位置、サイズ、方向（角度）を同時に表現する。
• ワッサーシュタイン自己注意は、コンテンツクエリ間の幾何的関係をガウスワッサーシュタイン距離スコアで計算することで、コンテンツクエリと位置クエリの間の相互作用を可能にする。
• オrientedクロス注意は、オブジェクトの角度に従って位置クエリ回りにサンプリングポイントを回転させ、値と位置クエリを一致させることで、特徴集約における不一致を低減する。
• モデルは、学習可能なクエリを備えた標準的なトランスフォーマーのエンコーダ-デコーダアーキテクチャを採用しており、位置クエリはオブジェクトの中心を表し、注意計算のためのサンプリングポイントは回転処理が施される。
• これらのコンponentsを統合した統一されたエンドツーエンドフレームワークを構築し、NMSのような手作業で設計された後処理を回避する。
• 実験は6つのデータセット（DIOR-R、DOTA-v1.0、DOTA-v1.5、HRSC2016、ICDAR2015）で実施され、各コンponentの貢献を検証するアブレーションスタディが実施された。

(a)

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤の検出器は、リモートセンシング画像においてオブジェクトの角度、位置、サイズを同時に符号化できるか？
• RQ2 自己注意機構内でのオブジェクトクエリ間の幾何的関係を効果的にモデリングできるか？その結果、検出性能が向上するか？
• RQ3 オブジェクトの向きに従ってサンプリングポイントを回転させることで、クロス注意における特徴の不一致を軽減できるか？
• RQ4 提案されたエンドツーエンドフレームワークは、精度と学習効率の両面で従来の検出器を上回るか？
• RQ5 モデルは、照明が悪い、極端な天候などの異なる条件を有する多様なリモートセンシングデータセットに一般化できるか？

主な発見

• DIOR-Rデータセットでは、従来のエンドツーエンド検出器と比較して1.16のAP50向上を達成し、優れた精度を示した。
• DOTA-v1.0では、先行するエンドツーエンド手法と比較してAP50が1.21ポイント向上し、強力な一般化性能を確認した。
• 性能を維持または向上させながら、学習エポックを3×から1×に短縮し、学習効率を顕著に向上させた。
• アブレーションスタディにより、ガウス位置符号化、ワッサーシュタイン自己注意、オrientedクロス注意の各コンponentが性能向上に寄与していることが確認された。
• 可視化により、学習された位置クエリがオブジェクトの中心に局在していることが確認され、サンプリングポイントがオrientedボックスと効果的に一致していることが示され、メカニズムの正しさが裏付けられた。
• 小さなオブジェクト、高アスペクト比、低照度条件などの困難なケースに対しても、モデルは頑健に動作したが、極めて小さなオブジェクトや背景と類似したオブジェクトでは、一部で最適でない結果が残っている。

(b)