[논문 리뷰] Enhanced Training of Query-Based Object Detection via Selective Query Recollection

Fangyi Chen, Han Zhang외 4명|arXiv (Cornell University)|2022. 12. 15.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 선택적 쿼리 재수집(Selective Query Recollection, SQR)을 제안하며, 이는 쿼리 기반 객체 검출기의 훈련 전략으로서 이전 디코딩 단계의 중간 쿼리를 후속 단계로 선택적으로 전달하여 누적 오류를 완화하고 후속 단계의 훈련 강도를 높인다. SQR은 추론 속도를 변화시키지 않으면서도 Adamixer, DAB-DETR, Deformable-DETR 등 다양한 모델에서 AP를 1.4–2.8 포인트 향상시킨다.

ABSTRACT

This paper investigates a phenomenon where query-based object detectors mispredict at the last decoding stage while predicting correctly at an intermediate stage. We review the training process and attribute the overlooked phenomenon to two limitations: lack of training emphasis and cascading errors from decoding sequence. We design and present Selective Query Recollection (SQR), a simple and effective training strategy for query-based object detectors. It cumulatively collects intermediate queries as decoding stages go deeper and selectively forwards the queries to the downstream stages aside from the sequential structure. Such-wise, SQR places training emphasis on later stages and allows later stages to work with intermediate queries from earlier stages directly. SQR can be easily plugged into various query-based object detectors and significantly enhances their performance while leaving the inference pipeline unchanged. As a result, we apply SQR on Adamixer, DAB-DETR, and Deformable-DETR across various settings (backbone, number of queries, schedule) and consistently brings 1.4-2.8 AP improvement.

연구 동기 및 목표

• 쿼리 기반 객체 검출기가 중간 예측은 정확한 데도 최종 디코딩 단계에서 잘못 예측하는 이유를 탐구하기 위해.
• 두 가지 핵심 한계를 규명하기 위해: 후속 디코딩 단계에 대한 훈련 강도가 부족하고, 순차적 개선 과정에서 누적 오류가 발생하기 때문이다.
• 후속 단계의 감독을 향상시키고 오류 전파를 줄이는 훈련 전략을 설계하기 위해.
• 추론 파이프라인을 수정하지 않고도 성능을 향상시킬 수 있는 플러그인 형태의 솔루션을 개발하기 위해.
• 밀도 높은 쿼리 재수집과 반복 구조를 통한 모델 압축을 탐색하여 디코딩 단계 간에 파라미터 공유를 가능하게 하기 위해.

제안 방법

• SQR은 훈련이 진행됨에 따라 이전 모든 디코딩 단계의 중간 쿼리를 누적적으로 수집한다.
• 각 후행 단계로는 오직 이전 두 단계의 쿼지만 선택적으로 전달하여 피보나치 유사한 감독 성장 패턴을 형성한다.
• 각 단계는 원본 쿼리와 재수집된 쿼리를 별도로 처리하여 각각의 어텐션 및 손실 계산을 수행한다.
• 추론 시에는 원래의 순차적 디코딩 구조를 유지하여 속도 저하 없이 구현된다.
• 모델 압축을 위해 SQR은 DQRR로 확장되며, 이는 최종 디코딩 단계의 출력을 다시 입력으로 피드백하여 반복적으로 재사용하는 방식이다.
• 최종 모델은 추론 시 단일 공유 단계를 사용하여 모델 크기를 70% 감소시키면서도 높은 정확도를 유지한다.

Figure 1 : The inference speed and AP for various networks on the MS-COCO val set. The red stars are the results trained with SQR. The blue circles are the results of baselines without SQR. SQR enhances the training of query-based object detectors while leaving the inference pipeline unchanged.

실험 결과

연구 질문

• RQ1 쿼리 기반 객체 검출기가 중간 단계에서는 정확한 예측을 했음에도 불구하고 최종 디코딩 단계에서 성능이 떨어지는 이유는 무엇인가?
• RQ2 디코딩 단계의 순차적 구조가 훈련 중에 누적 오류를 유발하는 방식은 어떻게 되는가?
• RQ3 추론 과정을 변경하지 않고도 후속 단계의 감독을 강화함으로써 훈련을 향상시킬 수 있는가?
• RQ4 성능과 계산 비용을 균형 있게 유지하기 위해 어느 중간 쿼리를 재수집할지 최적의 전략은 무엇인가?
• RQ5 밀도 높은 쿼리 재수집은 디코딩 단계 간에 파라미터 공유를 가능하게 하여 모델 크기를 줄일 수 있는가?

주요 결과

• SQR은 Adamixer, DAB-DETR, Deformable-DETR 등 다양한 쿼리 기반 검출기에서 다양한 훈련 설정 하에 AP를 1.4–2.8 포인트 향상시켰다.
• 100개의 쿼리와 12 에포크를 사용한 Adamixer-R50에서는 SQR로 AP가 42.5에서 44.4로 상승하여 +1.9 향상되었다.
• 7개의 디코더 스테이지에서 SQR은 Adamixer-R50의 AP를 45.1에서 48.9로 향상시켰고 (+3.8), Adamixer-R101은 47.6에서 49.8로 향상되었다 (+2.2).
• SQR은 R50, R101, Swin-B 등 다양한 백본, 100–300개의 쿼리 수, 12e, 36e, 50e 등 다양한 훈련 스케줄에서 일관된 성능 향상을 보였다.
• DQRR 변종은 밀도 높은 쿼리 재수집과 반복을 통해 모델 크기를 70% 감소시켜(1.6GB → 513MB) 5개의 공유 스테이지로 42.8 AP를 달성했으며, 원본 6단계 모델(42.5 AP)을 초월했다.
• 이전 두 단계의 쿼지만 재수집하는 선택적 재수집 전략은 전체 재수집보다 우수한 성능을 보였고, 계산 비용은 절반으로 줄였다.

Figure 2 : Are query-based object detectors always enhancing predictions stage-by-stage? The traffic light at stage 1 gets a confident score of 0.41, while from stage 2 to 5 the confidence gradually decreases to 0.21 (Upper); the remote at stage 3 was wrongly classified as a cell phone, and from sta