[论文解读] Hausdorff Distance Matching with Adaptive Query Denoising for Rotated Detection Transformer

Hakjin Lee, Minki Song+2 more|arXiv (Cornell University)|May 12, 2023

Advanced Neural Network Applications被引用 5

一句话总结

该论文提出RHINO，一种旋转目标检测Transformer模型，通过在匈牙利匹配中用Hausdorff距离替代L1损失，以消除重复的低置信度预测，从而提升训练稳定性和性能；并引入自适应查询去噪机制，当模型预测优于噪声标注时，利用匈牙利匹配选择性地过滤噪声查询。该方法在单尺度训练下于DOTA-v1.0/v1.5/v2.0和DIOR-R基准上达到最先进性能。

ABSTRACT

Detection Transformers (DETR) have recently set new benchmarks in object detection. However, their performance in detecting rotated objects lags behind established oriented object detectors. Our analysis identifies a key observation: the boundary discontinuity and square-like problem in bipartite matching poses an issue with assigning appropriate ground truths to predictions, leading to duplicate low-confidence predictions. To address this, we introduce a Hausdorff distance-based cost for bipartite matching, which more accurately quantifies the discrepancy between predictions and ground truths. Additionally, we find that a static denoising approach impedes the training of rotated DETR, especially as the quality of the detector's predictions begins to exceed that of the noised ground truths. To overcome this, we propose an adaptive query denoising method that employs bipartite matching to selectively eliminate noised queries that detract from model improvement. When compared to models adopting a ResNet-50 backbone, our proposed model yields remarkable improvements, achieving $ extbf{+4.18}$ AP$_{50}$, $ extbf{+4.59}$ AP$_{50}$, and $ extbf{+4.99}$ AP$_{50}$ on DOTA-v2.0, DOTA-v1.5, and DIOR-R, respectively.

研究动机与目标

• 解决旋转DETR中因匈牙利匹配里使用L1损失而导致的重复低置信度预测问题。
• 克服后期训练阶段静态查询去噪方法在模型预测优于噪声真实标注时的性能下降问题。
• 在不依赖复杂手工设计组件的前提下，提升DETR在定向目标检测中的训练稳定性和性能。
• 建立一个强大的基于DINO的基线模型，用于定向目标检测，其性能优于现有方法。

提出的方法

• 在匈牙利匹配中用Hausdorff距离替代标准L1距离，以更准确地量化定向目标检测中预测与真实标注之间的差异。
• 提出基于Hausdorff距离的代价函数，减少空间不一致性并防止重复预测。
• 提出自适应查询去噪方法，利用匈牙利匹配识别并过滤掉当模型预测优于噪声标签时的无用正样本噪声查询。
• 在正样本噪声查询与准确预测之间使用匈牙利匹配，动态评估在训练过程中应保留或丢弃哪些噪声查询。
• 设计一种训练策略，在早期训练中保持去噪优势，同时在后期阶段消除过时或低质量噪声查询的干扰。
• 将Hausdorff匹配与自适应去噪机制整合进基于DINO的DETR框架，形成RHINO模型。

Figure 2 : Matching areas of the Prediction A to the ground truth. The blue area indicates the orange box is matched to the ground truth over the green box, as the center of the orange box moves along a coordinate axis. In each case, both the ground truth and the green box are fixed. Left: Using L1

实验结果

研究问题

• RQ1 基于L1的匈牙利匹配在旋转DETR中如何导致重复的低置信度预测？
• RQ2 为何静态查询去噪在旋转DETR的后期训练阶段会降低性能？
• RQ3 Hausdorff距离能否提升定向目标检测中匹配的稳定性与预测的多样性？
• RQ4 对噪声查询进行自适应过滤是否能提升旋转DETR的训练收敛性与最终性能？
• RQ5 基于DINO的检测器能否在不进行复杂架构修改的情况下实现旋转目标检测的最先进性能？

主要发现

• 基于Hausdorff距离的代价函数显著减少了重复的低置信度预测，通过提升匈牙利匹配中的空间一致性。
• 在仅12个训练周期下，RHINO在DOTA-v1.0上达到76.10 AP50和48.20 AP75，优于先前基于DETR的模型。
• 在36个周期训练下，RHINO在DOTA-v1.0上达到74.56 AP50和49.63 AP75，超越基线DINO模型与先前方法。
• 自适应查询去噪方法通过选择性地移除无用噪声查询，提升了后期训练阶段的性能。
• RHINO在单尺度训练与推理下，于DOTA-v1.0/v1.5/v2.0与DIOR-R基准上建立了新的最先进水平。
• 所提方法构建了一个强大的基于DINO的旋转目标检测基线模型，其性能优于现有基于查询的检测器，且无需复杂架构组件。

(a) Contrastive Query Denoising