[논문 리뷰] Hausdorff Distance Matching with Adaptive Query Denoising for Rotated Detection Transformer

Hakjin Lee, Minki Song외 2명|arXiv (Cornell University)|2023. 05. 12.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 RHINO를 제안하며, 헝가리안 매칭에서 L1 손실을 하우스도르프 거리로 대체하여 중복된 저신뢰도 예측을 제거하고, 모델 예측이 노이즈가 있는 진짜 값보다 우수할 경우에만 노이즈가 있는 쿼리를 선택적으로 필터링하는 적응형 쿼리 노이즈 제거 기법을 도입함으로써 훈련 안정성과 성능을 향상시킨다. 이 방법은 단일 스케일 훈련 하에 DOTA-v1.0/v1.5/v2.0 및 DIOR-R 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Detection Transformers (DETR) have recently set new benchmarks in object detection. However, their performance in detecting rotated objects lags behind established oriented object detectors. Our analysis identifies a key observation: the boundary discontinuity and square-like problem in bipartite matching poses an issue with assigning appropriate ground truths to predictions, leading to duplicate low-confidence predictions. To address this, we introduce a Hausdorff distance-based cost for bipartite matching, which more accurately quantifies the discrepancy between predictions and ground truths. Additionally, we find that a static denoising approach impedes the training of rotated DETR, especially as the quality of the detector's predictions begins to exceed that of the noised ground truths. To overcome this, we propose an adaptive query denoising method that employs bipartite matching to selectively eliminate noised queries that detract from model improvement. When compared to models adopting a ResNet-50 backbone, our proposed model yields remarkable improvements, achieving $ extbf{+4.18}$ AP$_{50}$, $ extbf{+4.59}$ AP$_{50}$, and $ extbf{+4.99}$ AP$_{50}$ on DOTA-v2.0, DOTA-v1.5, and DIOR-R, respectively.

연구 동기 및 목표

• 회전된 DETR에서 헝가리안 매칭의 L1 손실로 인해 발생하는 중복된 저신뢰도 예측 문제를 해결하기 위해.
• 후기 훈련 단계에서 모델 예측이 노이즈가 있는 진짜 값의 품질을 초월할 경우, 정적 쿼리 노이즈 제거 기법의 한계를 극복하기 위해.
• 복잡한 수작업 설계된 구성 요소에 의존하지 않고 DETR의 기울기 방향 객체 검출에서의 훈련 안정성과 성능을 향상시키기 위해.
• 기존 방법들을 능가하는 강력한 DINO 기반 베이스라인을 설정하기 위해.

제안 방법

• 기울기 방향 객체 검출에서 예측과 진짜 값 간의 차이를 더 잘 측정하기 위해, 헝가리안 매칭에서 표준 L1 거리를 하우스도르프 거리로 대체한다.
• 공간적 일관성을 감소시키고 중복 예측을 방지하기 위해 하우스도르프 거리 기반의 비용 함수를 도입한다.
• 모델 예측이 노이즈가 있는 레이블보다 더 정확해질 경우, 헝가리안 매칭을 사용해 유해한 양의 노이즈가 있는 쿼리를 식별하고 제거하는 적응형 쿼리 노이즈 제거 기법을 제안한다.
• 정확한 예측과 양의 노이즈가 있는 쿼리 간의 헝가리안 매칭을 활용해, 훈련 중에 어떤 노이즈가 있는 쿼리를 유지하거나 제거할지 동적으로 평가한다.
• 초기 훈련 단계에서는 노이즈 제거의 이점을 유지하면서도, 후기 단계에서는 오래되거나 품질이 낮은 노이즈가 있는 쿼리의 간섭을 제거하는 훈련 전략을 설계한다.
• 하우스도르프 매칭과 적응형 노이즈 제거를 DINO 기반 DETR 프레임워크에 통합하여 RHINO 모델을 구성한다.

Figure 2 : Matching areas of the Prediction A to the ground truth. The blue area indicates the orange box is matched to the ground truth over the green box, as the center of the orange box moves along a coordinate axis. In each case, both the ground truth and the green box are fixed. Left: Using L1

실험 결과

연구 질문

• RQ1 L1 기반의 헝가리안 매칭은 회전된 DETR에서 중복된 저신뢰도 예측을 어떻게 유도하는가?
• RQ2 왜 정적 쿼리 노이즈 제거 기법은 회전된 DETR의 후기 훈련 단계에서 성능을 떨어뜨리는가?
• RQ3 하우스도르프 거리는 기울기 방향 객체 검출에서 매칭의 안정성과 예측의 다양성을 향상시키는가?
• RQ4 노이즈가 있는 쿼리의 적응형 필터링은 회전된 DETR의 수렴성과 최종 성능을 향상시키는가?
• RQ5 복잡한 아키텍처 수정 없이 DINO 기반 검출기가 기울기 방향 객체 검출에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 하우스도르프 거리 기반의 비용 함수는 헝가리안 매칭에서 공간적 일관성을 향상시켜 중복된 저신뢰도 예측을 크게 감소시킨다.
• RHINO는 단지 12개의 훈련 에포크로 DOTA-v1.0에서 76.10 AP50와 48.20 AP75를 달성하여 이전의 DETR 기반 모델을 능가한다.
• 36개의 에포크를 거치면 RHINO는 DOTA-v1.0에서 74.56 AP50와 49.63 AP75를 기록하며, 베이스라인 DINO 모델과 이전의 방법들을 모두 능가한다.
• 적응형 쿼리 노이즈 제거 기법은 모델 예측이 노이즈가 있는 레이블보다 더 정확해질 경우, 유해한 노이즈가 있는 쿼리를 선택적으로 제거함으로써 후기 훈련 단계에서 성능을 향상시킨다.
• RHINO는 단일 스케일 훈련 및 추론 조건에서 DOTA-v1.0/v1.5/v2.0 및 DIOR-R 벤치마크에서 새로운 최신 기술 수준을 수립한다.
• 제안된 방법은 기존의 복잡한 아키텍처 구성 요소 없이도 강력한 DINO 기반의 기초 모델을 제공하여, 기존의 쿼리 기반 검출기들을 능가한다.

(a) Contrastive Query Denoising