[논문 리뷰] Semantic-Aligned Matching for Enhanced DETR Convergence and Multi-Scale Feature Fusion

Gongjie Zhang, Zhipeng Luo외 3명|arXiv (Cornell University)|2022. 07. 28.

Advanced Image and Video Retrieval Techniques인용 수 5

한 줄 요약

이 논문은 객체 쿼리와 인코딩된 이미지 특징 간의 의미적 정렬을 공유된 임bedding 공간 투영을 통해 수행함으로써 DETR의 수렴 속도와 검출 정확도를 향상시키는 플러그 앤 플레이 모듈인 SAM-DETR++를 제안한다. 더 정확한 매칭을 가능하게 하고 군집에서 세분화되는 다중 스케일 특징 융합을 가능하게 함으로써, SAM-DETR++는 COCO에서 단지 12개의 학습 에포크로 44.8% AP를 달성하며 수렴 속도를 크게 향상시키면서 Faster R-CNN을 능가한다.

ABSTRACT

The recently proposed DEtection TRansformer (DETR) has established a fully end-to-end paradigm for object detection. However, DETR suffers from slow training convergence, which hinders its applicability to various detection tasks. We observe that DETR's slow convergence is largely attributed to the difficulty in matching object queries to relevant regions due to the unaligned semantics between object queries and encoded image features. With this observation, we design Semantic-Aligned-Matching DETR++ (SAM-DETR++) to accelerate DETR's convergence and improve detection performance. The core of SAM-DETR++ is a plug-and-play module that projects object queries and encoded image features into the same feature embedding space, where each object query can be easily matched to relevant regions with similar semantics. Besides, SAM-DETR++ searches for multiple representative keypoints and exploits their features for semantic-aligned matching with enhanced representation capacity. Furthermore, SAM-DETR++ can effectively fuse multi-scale features in a coarse-to-fine manner on the basis of the designed semantic-aligned matching. Extensive experiments show that the proposed SAM-DETR++ achieves superior convergence speed and competitive detection accuracy. Additionally, as a plug-and-play method, SAM-DETR++ can complement existing DETR convergence solutions with even better performance, achieving 44.8% AP with merely 12 training epochs and 49.1% AP with 50 training epochs on COCO val2017 with ResNet-50. Codes are available at https://github.com/ZhangGongjie/SAM-DETR .

연구 동기 및 목표

• 객체 쿼리와 이미지 특징 간의 의미적 불일치가 원인이 되는 DETR의 느린 학습 수렴 문제를 해결하기 위해.
• 객체 쿼리와 관련된 이미지 영역 간의 매칭 정확도를 향상시키기 위해, 둘 다를 공유된 의미적 임베딩 공간에 투영함으로써.
• 의미적 정렬된 매칭을 기반으로 효율적인 군집에서 세분화되는 다중 스케일 특징 융합을 가능하게 하기 위해.
• 기존 DETR 수렴 솔루션과 원활하게 통합될 수 있는 플러그 앤 플레이 모듈을 개발하기 위해.
• 의미적 정렬이 검출 성능을 희생시키지 않고도 수렴 속도를 크게 가속화할 수 있음을 입증하기 위해.

제안 방법

• 객체 쿼리와 이미지 특징을 공유된 의미적 임베딩 공간에 투영하여 의미적 정렬된 매칭을 가능하게 하는 플러그 앤 플레이 모듈을 도입한다.
• 경량 네트워크를 활용하여 다수의 대표적이고 구분력 있는 관건 키포인트를 식별하고 특징을 추출함으로써 매칭을 향상시킨다.
• 정렬된 의미적 공간을 디코더의 크로스 어텐션 모듈에 지도하여 매칭의 모호성을 줄이고 특징 정제를 향상시킨다.
• 의미적 정렬을 활용하여 계층적 특징 통합을 가능하게 하여 군집에서 세분화되는 다중 스케일 특징 융합을 실현한다.
• 다양한 데이터셋에 잘 일반화되는 학습 가능한 기준 상자 초기화 방법을 활용한다. 랜덤 또는 고정된 초기화 조건에서도 잘 작동한다.
• 의미적 정렬 모듈을 SMCA 및 노이즈 제거 학습과 같은 기존 수렴 기법들과 조합하여 상호보완적인 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 객체 쿼리와 이미지 특징 간의 의미적 정렬이 매칭의 난이도를 낮추고 DETR의 학습 수렴 속도를 가속화할 수 있는가?
• RQ2 의미적 정렬은 DETR의 디코더에서 크로스 어텐션의 성능와 안정성에 어떤 영향을 미치는가?
• RQ3 제안된 모듈은 기존 DETR 수렴 솔루션과 효과적으로 조합되어 학습 속도와 정확도를 추가로 향상시킬 수 있는가?
• RQ4 대표적인 관건 키포인트의 사용이 플러그 앤 플레이 방식으로 매칭 정밀도와 검출 성능을 향상시킬 수 있는가?
• RQ5 학습된 기준 상자 초기화 방법은 다양한 객체 분포를 가진 다양한 데이터셋에서 얼마나 강건한가?

주요 결과

• SAM-DETR++는 ResNet-50를 사용하여 COCO val 2017에서 단지 12개의 학습 에포크로 44.8% AP를 달성하며, 속도와 정확도 면에서 Faster R-CNN를 능가한다.
• 50개의 학습 에포크를 거치면 SAM-DETR++는 COCO에서 49.1% AP를 달성하여 트랜스포머 기반 검출기 중 최고 수준의 성능을 보여준다.
• 모델은 다양한 데이터셋에 대해 강력한 일반화 능력을 유지한다: 무작위로 초기화된 기준 상자 조건에서도 Pascal VOC에서 79.3% mAP를 달성한다.
• 의미적 정렬 모듈은 효과적인 군집에서 세분화되는 다중 스케일 특징 융합을 가능하게 하여 특징 표현 능력을 향상시킨다.
• 플러그 앤 플레이 설계 덕분에 SMCA-DETR 및 DN-DETR와 같은 기존 수렴 방법과 원활하게 통합되어 추가적인 성능 향상을 이룬다.
• 이 방법은 DETR의 학습 수렴 시간을 크게 줄여, 트랜스포머 기반 검출기가 컨벌루션 네트워크 기반 대안들과 경쟁 가능한 학습 효율성을 확보하게 한다.