[論文レビュー] Hausdorff Distance Matching with Adaptive Query Denoising for Rotated Detection Transformer

Hakjin Lee, Minki Song+2 more|arXiv (Cornell University)|May 12, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、回転物体検出用Transformer「RHINO」を提案する。L1損失をハンガリアンマッチングで置き換えることで、重複する低信頼度予測を排除し、訓練の安定性と性能を向上させる。さらに、モデルの予測がノイズの多い真値を上回る際、ハンガリアンマッチングを用いてノイズの多いクエリを的確にフィルタリングするアダプティブクエリノイズ除去を導入する。本手法は、シングルスケール学習下でDOTA-v1.0/v1.5/v2.0およびDIOR-Rベンチマークで最先端の性能を達成する。

ABSTRACT

Detection Transformers (DETR) have recently set new benchmarks in object detection. However, their performance in detecting rotated objects lags behind established oriented object detectors. Our analysis identifies a key observation: the boundary discontinuity and square-like problem in bipartite matching poses an issue with assigning appropriate ground truths to predictions, leading to duplicate low-confidence predictions. To address this, we introduce a Hausdorff distance-based cost for bipartite matching, which more accurately quantifies the discrepancy between predictions and ground truths. Additionally, we find that a static denoising approach impedes the training of rotated DETR, especially as the quality of the detector's predictions begins to exceed that of the noised ground truths. To overcome this, we propose an adaptive query denoising method that employs bipartite matching to selectively eliminate noised queries that detract from model improvement. When compared to models adopting a ResNet-50 backbone, our proposed model yields remarkable improvements, achieving $ extbf{+4.18}$ AP$_{50}$, $ extbf{+4.59}$ AP$_{50}$, and $ extbf{+4.99}$ AP$_{50}$ on DOTA-v2.0, DOTA-v1.5, and DIOR-R, respectively.

研究の動機と目的

• 回転DETRにおけるハンガリアンマッチングにおけるL1損失が原因で生じる重複する低信頼度予測の問題を解消すること。
• 後期の学習段階でモデルの予測がノイズの多い真値を上回る状況において、静的クエリノイズ除去の限界を克服すること。
• 複雑な手動設計コンponentsに依存せずに、DETRの回転物体検出における訓練の安定性と性能を向上させること。
• 既存の手法を上回る強力なDINOベースのベースラインを構築すること。

提案手法

• 回転物体検出における予測と真値の乖離をより適切に定量化するために、ハンガリアンマッチングにおける標準的なL1距離をハウスドルフ距離に置き換える。
• 空間的一致性を低下させず、重複予測を防止するため、ハウスドルフ距離に基づくコスト関数を導入する。
• モデルの予測がノイズの多いラベルを上回る段階で、ハンガリアンマッチングを用いて無益なノイズの多い正例クエリを特定・フィルタリングする、アダプティブクエリノイズ除去を提案する。
• 正例ノイズクエリと正確な予測の間でハンガリアンマッチングを実行し、学習中にどのノイズクエリを保持または破棄すべきかを動的に評価する。
• 初期学習段階ではノイズ除去の利点を維持しながら、後期段階では古くまたは低品質なノイズクエリによる干渉を排除する訓練戦略を設計する。
• ハウスドルフマッチングとアダプティブノイズ除去をDINOベースのDETRフレームワークに統合し、RHINOモデルを構築する。

Figure 2 : Matching areas of the Prediction A to the ground truth. The blue area indicates the orange box is matched to the ground truth over the green box, as the center of the orange box moves along a coordinate axis. In each case, both the ground truth and the green box are fixed. Left: Using L1

実験結果

リサーチクエスチョン

• RQ1 L1ベースのハンガリアンマッチングは、回転DETRにおける重複する低信頼度予測をどのように生じさせているのか？
• RQ2 なぜ静的クエリノイズ除去は、回転DETRの後期学習段階で性能を低下させるのか？
• RQ3 ハウスドルフ距離は、回転物体検出におけるマッチングの安定性と予測の多様性を向上させることができるか？
• RQ4 ノイズの多いクエリのアダプティブフィルタリングは、回転DETRの学習収束と最終性能を向上させるか？
• RQ5 複雑なアーキテクチャ的変更なしに、DINOベースの検出器が回転物体検出で最先端の結果を達成できるか？

主な発見

• ハウスドルフ距離に基づくコスト関数は、ハンガリアンマッチングにおける空間的一致性を向上させることで、重複する低信頼度予測を顕著に削減する。
• RHINOは12エポックでの学習で、DOTA-v1.0で76.10 AP50および48.20 AP75を達成し、従来のDETRベースのモデルを上回る。
• 36エポックでの学習で、RHINOはDOTA-v1.0で74.56 AP50および49.63 AP75を達成し、ベースラインのDINOモデルおよび先行手法を上回る。
• アダプティブクエリノイズ除去法により、後期学習段階での性能が向上し、無益なノイズの多いクエリが選択的に除去される。
• RHINOは、シングルスケール学習および推論下で、DOTA-v1.0/v1.5/v2.0およびDIOR-Rベンチマークで新たな最先端性能を確立する。
• 提案手法により、複雑なアーキテクチャ的コンponentsを必要とせず、既存のクエリベース検出器を上回る強力なDINOベースのベースラインが構築可能である。

(a) Contrastive Query Denoising