[논문 리뷰] DQ-DETR: DETR with Dynamic Query for Tiny Object Detection

Yi-Xin Huang, Hou-I Liu외 2명|arXiv (Cornell University)|2024. 04. 04.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

DQ-DETR는 카테고리별 수량 모듈과 밀도 인식 특징 강화를 사용하여 객체 쿼리의 수와 위치 인코딩을 적응적으로 조정하는 동적 쿼리 메커니즘을 제안하여 항공 이미지에서의 소형 객체 검출을 향상시킨다. 이는 AI-TOD-V2 데이터셋에서 SOTA mAP 30.2%를 달성하여 이전 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

Despite previous DETR-like methods having performed successfully in generic object detection, tiny object detection is still a challenging task for them since the positional information of object queries is not customized for detecting tiny objects, whose scale is extraordinarily smaller than general objects. Also, DETR-like methods using a fixed number of queries make them unsuitable for aerial datasets, which only contain tiny objects, and the numbers of instances are imbalanced between different images. Thus, we present a simple yet effective model, named DQ-DETR, which consists of three different components: categorical counting module, counting-guided feature enhancement, and dynamic query selection to solve the above-mentioned problems. DQ-DETR uses the prediction and density maps from the categorical counting module to dynamically adjust the number of object queries and improve the positional information of queries. Our model DQ-DETR outperforms previous CNN-based and DETR-like methods, achieving state-of-the-art mAP 30.2% on the AI-TOD-V2 dataset, which mostly consists of tiny objects. Our code will be available at https://github.com/hoiliu-0801/DQ-DETR.

연구 동기 및 목표

• 항공 이미지에서 극도로 불균형한 인스턴스 수를 가진 고정 쿼리 기반 DETR 유사 모델의 한계를 해결하기 위해.
• 스parser와 denser 시나리오 양쪽에서 검출 재현율을 향상시키기 위해 객체 쿼리 수를 동적으로 조정함으로써.
• 밀도 맵을 시각적 특징과 융합하여 소형 객체에 대한 쿼리의 위치 인식 능력을 향상시키기 위해.
• 쿼리 수와 위치 조정을 통해 희박한 이미지에서의 오소거부 및 빈약한 이미지에서의 오소거부를 줄이기 위해.
• 이미지당 인스턴스 밀도에 따라 쿼리 수를 맞춤형으로 설정할 수 있는 데이터셋에 종속되지 않는 카테고리별 수량 모듈을 설계하기 위해.

제안 방법

• 데이터셋 통계에 기반해 이미지당 인스턴스 수를 네 가지 수준(N ≤ 10, 10 < N ≤ 100, 100 < N ≤ 500, N > 500)으로 분류하는 카테고리별 수량 모듈을 도입한다.
• 예측된 수량 클래스를 사용해 트랜스포머 디코더 내 객체 쿼리 수를 동적으로 설정함으로써 고정된 K 값의 한계를 피한다.
• 수량 모듈에서 생성한 밀도 맵을 인코더 특징과 융합하여 소형 객체의 전경 표현을 강화한다.
• 강화된 특징 맵을 활용해 객체 쿼리의 위치 임베딩을 정밀하게 보정함으로써 정렬 정확도를 향상시킨다.
• 예측된 인스턴스의 공간 분포에 따라 쿼리 위치를 조정하는 학습 가능한 쿼리 선택 메커니즘을 적용한다.
• 이미지당 평균 및 분산을 계산해 수량 분류 범주를 수동으로 설계하지 않고도 자동으로 정의하는 의사코드 파이프라인을 사용한다.

실험 결과

연구 질문

• RQ1 극도로 불균형한 인스턴스 수를 가진 항공 이미지에서 소형 객체 검출 성능을 향상시키기 위해 동적 쿼리 메커니즘이 효과적인가?
• RQ2 쿼리 수를 동적으로 조정하면 희박한 장면과 빈약한 장면에서 재현율과 정밀도에 어떤 영향을 미치는가?
• RQ3 밀도 맵을 시각적 특징과 융합하면 소형 객체의 정렬에 얼마나 기여하는가?
• RQ4 데이터셋 통계에 기반한 카테고리별 수량 모듈이 수동 임계값 조정 없이 다양한 항공 데이터셋에 일반화 가능한가?
• RQ5 고정 쿼리 및 밀도 높은 쿼리 기반 DETR 변종 대비 제안된 방법은 mAP 및 소형 객체에 대한 AP 측면에서 어떻게 비교되는가?

주요 결과

• DQ-DETR는 AI-TOD-V2 데이터셋에서 SOTA mAP 30.2%를 달성하여 이전 SOTA 방법보다 AP 16.6% 및 APvt 20.5% 높게 기록하였다.
• 네 가지 클래스로 구성된 카테고리별 수량 모듈은 총 분류 정확도 94.6%를 기록했으며, 인스턴스 수 ≤10인 이미지에 대해선 97.7%의 정확도를 확보하였다.
• 다섯 개의 분류 클래스를 사용할 경우 네 개의 클래스 대비 mAP가 1.4점 감소하였는데, 이는 N > 500인 희귀 고밀도 케이스에서의 성능 열악함으로 인한 것으로 확인되어 클래스 불균형 처리의 중요성을 입증하였다.
• 제거 분석 결과, 수량 기반 쿼리 조정과 밀도 강화 특징의 조합이 기본 DINO-DETR 대비 AP를 4.3점 향상시켰다.
• 시각화 결과 DQ-DETR는 Deformable-DETR 대비 더 정보가 풍부한 특징 맵을 생성하며, 오소거부 및 오소거부가 적은 것으로 확인되었다.
• 이 방법은 인스턴스 밀도에 따라 쿼리 수와 위치를 조정함으로써 빈약한 이미지에서의 오소거부와 희박한 이미지에서의 오소거부를 효과적으로 줄였다.