[논문 리뷰] DETR++: Taming Your Multi-Scale Detection Transformer

Chi Zhang, Lijuan Liu외 5명|arXiv (Cornell University)|2022. 06. 07.

Advanced Image and Video Retrieval Techniques인용 수 7

한 줄 요약

DETR++는 다중 척도 검출 프레임워크를 제안하여 원본 DETR 모델에 양방향 특징 피라미드 네트워크(BiFPN)를 통합함으로써 다양한 척도 간 특징 집약을 향상시켜, MS COCO 2017에서 1.9%의 AP 향상, RICO 아이콘 검출에서 11.5%의 AP 향상, 레이아웃 추출에서 9.1%의 AP 향상을 이룩하였으며, 자기주의의 제곱 복잡도에도 불구하고 효율성을 유지하였다.

ABSTRACT

Convolutional Neural Networks (CNN) have dominated the field of detection ever since the success of AlexNet in ImageNet classification [12]. With the sweeping reform of Transformers [27] in natural language processing, Carion et al. [2] introduce the Transformer-based detection method, i.e., DETR. However, due to the quadratic complexity in the self-attention mechanism in the Transformer, DETR is never able to incorporate multi-scale features as performed in existing CNN-based detectors, leading to inferior results in small object detection. To mitigate this issue and further improve performance of DETR, in this work, we investigate different methods to incorporate multi-scale features and find that a Bi-directional Feature Pyramid (BiFPN) works best with DETR in further raising the detection precision. With this discovery, we propose DETR++, a new architecture that improves detection results by 1.9% AP on MS COCO 2017, 11.5% AP on RICO icon detection, and 9.1% AP on RICO layout extraction over existing baselines.

연구 동기 및 목표

• 소형 객체 검출에서의 DETR 성능 부족 문제를 다중 척도 특징 통합의 제한성으로 인해 해결하기 위해.
• 자기주의의 제곱 복잡도와 히긴거 매칭의 세제곱 복잡도를 피하는 효율적인 다중 척도 특징 집약 전략을 탐구하기 위해.
• 모델 복잡도를 크게 증가시키지 않고도 RICO 아이콘 검출 및 레이아웃 추출과 같은 미흡하게 다뤄진 벤치마크에서 DETR의 성능을 향상시키기 위해.
• 특히 온디바이스 화면 이해 작업을 위한 트랜스포머 기반 검출기에서 다중 척도 특징 융합을 위한 최적의 아키텍처를 규명하기 위해.

제안 방법

• 다양한 백본 스테이지의 특징을 융합하기 위해 양방향 특징 피라미드 네트워크(BiFPN)를 통합하여 효과적인 다중 척도 표현 학습을 가능하게 하였다.
• 기존 DETR 인코더-디코더 아키텍처를 유지하면서 BiFPN 내의 학습 가능한 가중치 기반 특징 융합을 통해 특징 계층을 향상시켰다.
• Transformer 인코더 이전의 백본 수준에서 특징 피라미드 융합을 적용하여 인코더가 더 풍부한 다중 척도 특징을 처리할 수 있도록 하였다.
• 입력 크기를 1280×1280로 조정하고 패딩을 적용하며, 표준 데이터 증강(임의의 수평 반전 및 자르기)을 사용하여 DETR와 일관성을 유지하였다.
• 위치 임bedding과 함께 학습 가능한 객체 쿼리 메커니즘을 사용하고 히긴거 매칭을 통해 엔드 투 엔드 박스 및 클래스 예측을 수행하였다.
• 데이터셋 통계에 기반하여 배경 클래스 가중치 및 객체 쿼리 수와 같은 핵심 하이퍼파라미터를 조정하여 수렴성과 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 자기주의의 복잡도를 악화시키지 않으면서 DETR 아키텍처에 다중 척도 특징을 통합하는 가장 효과적인 방법은 무엇인가?
• RQ2 BiFPN은 스택된 특징, 시프트된 윈도우 또는 전용 헤드와 같은 다른 다중 척도 융합 전략과 비교해 복잡도를 고려할 때 DETR의 검출 정확도 향상에 얼마나 기여하는가?
• RQ3 BiFPN를 통합한 수정된 DETR 아키텍처는 CenterNet 및 IconNet과 같은 최신 기술 모델보다 소형 객체 검출 벤치마크에서 더 뛰어난 성능을 내는가?
• RQ4 BiFPN를 통한 다중 척도 특징 융합이 아이콘 검출 및 레이아웃 추출과 같은 비표준 검출 작업에서 성능 향상에 실제로 기여하는가?
• RQ5 BiFPN를 통한 향상된 DETR++는 기준 DETR에 비해 훈련 효율성과 수렴 속도를 어느 정도 유지하는가?

주요 결과

• DETR++는 원본 DETR 대비 MS COCO 2017에서 1.9%의 절대 AP 향상을 기록하여 표준 벤치마크에서 강력한 일반화 성능을 입증하였다.
• RICO 아이콘 검출 데이터셋에서 DETR++는 기존 베이스라인 대비 검출 AP를 11.5% 향상시켜 DETR 및 IconNet 모델을 모두 능가하였다.
• 레이아웃 추출 작업에서는 DETR++가 베이스라인 대비 9.1%의 AP 향상을 기록하여 기능적 UI 요소 검출에서 뛰어난 성능을 보였다.
• 다시 말해, 성능 향상에도 불구하고 DETR++는 특정 데이터셋에서 CenterNet 및 IconNet에 비해 소형 객체 검출에서 여전히 뒤처지는 성능을 보이며 향후 최적화 여지를 보여주었다.
• BiFPN 기반 특징 융합 전략은 평가된 모든 방법 중에서 가장 효과적이었으며, 시프트된 윈도우나 전용 헤드와 같은 대안들보다 뚜렷이 뛰어난 성능을 기록하였다.
• 다중 척도 특징 융합에도 불구하고 계산량은 극히 미미하게 증가하여 성능 대 복잡도의 유리한 트레이드오프를 유지하였다.