[논문 리뷰] DAB-DETR: Dynamic Anchor Boxes are Better Queries for DETR

Shilong Liu, Feng Li외 6명|arXiv (Cornell University)|2022. 01. 28.

Anomaly Detection Techniques and Applications인용 수 391

한 줄 요약

DAB-DETR은 DETR에서 앵커 박스 (x, y, w, h)를 동적으로 업데이트되는 쿼리로 처리하고, 물체의 스케일에 따라 교차 어텐션을 조절하며 같은 설정에서 COCO에 대해 DETR-유사 최첨단 성능을 달성한다.

ABSTRACT

We present in this paper a novel query formulation using dynamic anchor boxes for DETR (DEtection TRansformer) and offer a deeper understanding of the role of queries in DETR. This new formulation directly uses box coordinates as queries in Transformer decoders and dynamically updates them layer-by-layer. Using box coordinates not only helps using explicit positional priors to improve the query-to-feature similarity and eliminate the slow training convergence issue in DETR, but also allows us to modulate the positional attention map using the box width and height information. Such a design makes it clear that queries in DETR can be implemented as performing soft ROI pooling layer-by-layer in a cascade manner. As a result, it leads to the best performance on MS-COCO benchmark among the DETR-like detection models under the same setting, e.g., AP 45.7\% using ResNet50-DC5 as backbone trained in 50 epochs. We also conducted extensive experiments to confirm our analysis and verify the effectiveness of our methods. Code is available at \url{https://github.com/SlongLiu/DAB-DETR}.

연구 동기 및 목표

• DETR 쿼리에 대한 더 나은 이해를 유도하고 DETR 학습 수렴을 개선한다.
• 앵커가 직접 학습되고 트랜스포머 디코더의 쿼리로 사용되는 쿼리 포뮬레이션을 도입한다.
• 객체 스케일 정보를 활용하여 교차 어텐션을 모듈레이션하고 더 정확한 피처 풀링을 실현한다.
• 전통적인 DETR 스타일 쿼리 대비 동적이고 계층적으로 업데이트되는 앵커 박스가 성능 향상을 가져온다는 것을 보여준다.
• 동일 설정 하에서 COCO의 DETR 유사 모델 중 최첨단 결과를 입증한다.

제안 방법

• 쿼리로서 4D 앵커 박스 (x, y, w, h)를 제안하고 사인 웨이브 임베딩을 통한 MLP로 위치 정보를 생성한다.
• 자체-어텐션과 교차 어텐션 모두에서 내용 정보와 위치 정보를 연결하여 스케일 조건의 교차 어텐션 메커니즘을 사용한다.
• 층별로 공유 헤드를 사용하여 상대 델타 (Δx, Δy, Δw, Δh)를 예측하여 앵커를 계층별로 업데이트한다.
• 어텐션의 기하학적 위치 프라이어를 폭 및 높이 정보 (w, h)로 조정하여 객체 스케일에 적응한다.
• 공간적 주의의 부드러움을 조정하는 온도 매개변수 T를 도입하고 시각적 특수 설정(T = 20)을 사용한다.
• 각 구성 요소의 기여를 확인하는 상세한 ablation과 함께 선택적 더 강력한 변형(DAB-DETR-Deformable)을 제공한다.

실험 결과

연구 질문

• RQ1 앵커 기반 쿼리가 DETR의 전통적 학습 가능한 쿼리와 수렴 및 정확도 면에서 어떻게 비교되는가?
• RQ2 동적이고 스케일 인식이 가능한 앵커 박스를 쿼리로 사용할 때 교차 어텐션과 다양한 크기의 객체 로컬라이제이션이 개선되는가?
• RQ3 레이어별로 앵커 박스를 업데이트하는 것이 DETR 유사 탐지기에게 어떤 영향을 미치는가?
• RQ4 폭/높이 모듈레이션된 어텐션과 온도 튜닝을 도입하면 COCO에서 측정 가능한 이익이 있는가?EDR?

주요 결과

• DAB-DETR은 ResNet-50 (DC5)로 COCO에서 50 에폭 학습 시 45.7 AP를 달성하여 동일 설정 하의 여러 DETR 유사 모델을 능가한다.
• 쿼리로서 4D 앵커 박스를 사용하면 앵커 박스 기반 포뮬레이션(앵커 포인트 대비)에서 AP를 44.0에서 45.0으로 향상시킨다(ablations).
• 레이어 간 동적 앵커 업데이트가 1.7 AP의 이득을 제공한다.
• 폭/높이 모듈레이션된 어텐션과 온도 튜닝이 추가 이득에 기여하며, 이러한 구성 요소가 제거되면 성능이 떨어진다는 ablation에서 확인된다.
• 패턴 임베딩을 도입한 DAB-DETR 변형은 백본 간 이전 DETR 유사 방법을 능가하여 제안된 설계의 효과를 입증한다.
• 기준 DETR 및 여러 변형과 비교할 때 DAB-DETR은 다중 스케일 DETR 유사 접근 방식에도 강한 성능을 보인다.