[논문 리뷰] D^2ETR: Decoder-Only DETR with Computationally Efficient Cross-Scale Attention

Jun-Yu Lin, Xiaofeng Mao외 4명|arXiv (Cornell University)|2022. 03. 02.

Advanced Neural Network Applications인용 수 15

한 줄 요약

D²ETR는 기존의 인코더-디코더 트랜스포머 아키텍처를 대체하여 계산 효율적인 크로스스케일 어텐션 메커니즘(CECA)을 도입한 디코더 전용 객체 검출 프레임워크를 제안한다. 이는 백본에서 유도된 다중스케일 고해상도 특징에 직접 어텐션을 허용한다. COCO에서 106 GFLOPs의 계산량으로도 SOTA 성능을 기록하며, Deformable DETR를 능가하는 50.0 AP를 달성했고, 메모리 소비와 지연 시간을 줄였다.

ABSTRACT

DETR is the first fully end-to-end detector that predicts a final set of predictions without post-processing. However, it suffers from problems such as low performance and slow convergence. A series of works aim to tackle these issues in different ways, but the computational cost is yet expensive due to the sophisticated encoder-decoder architecture. To alleviate this issue, we propose a decoder-only detector called D^2ETR. In the absence of encoder, the decoder directly attends to the fine-fused feature maps generated by the Transformer backbone with a novel computationally efficient cross-scale attention module. D^2ETR demonstrates low computational complexity and high detection accuracy in evaluations on the COCO benchmark, outperforming DETR and its variants.

연구 동기 및 목표

• DETR에서 인코더를 제거하여 엔드 투 엔드 객체 검출을 단순화하고, 아키텍처의 복잡성과 계산 비용을 줄이기 위해.
• 기존 트랜스포머 기반 검출기에서 다중스케일 특징 융합과 크로스어텐션의 높은 계산 비용 문제를 해결하기 위해.
• 모델 파라미터 수나 추론 지연 시간을 늘리지 않고도 소형 객체에 대한 검출 정확도를 향상시키기 위해.
• 디코더 전용 아키텍처가 엔코더-디코더 대비 성능을 동등하거나 초월할 수 있는지 탐색하기 위해.
• 가벼운 엔드 투 엔드 검출 파이프라인에서 효율적인 크로스스케일 특징 상호작용을 가능하게 하는 플러그인 모듈(CECA)을 개발하기 위해.

제안 방법

• 트랜스포머 백본에서 유도된 다중스케일 고해상도 특징을 직접 어텐션하는 디코더 전용 검출 프레임워크(D²ETR)를 제안한다.
• 계산 효율적인 크로스스케일 어텐션(CECA)을 도입한다. 여기서 고수준 특징이 쿼리로, 저수준 특징이 키/밸류로 기능하여 희소하고 효율적인 크로스스케일 상호작용을 가능하게 한다.
• 디코더에서 표준 다중헤드 어텐션 또는 변형 가능 어텐션 메커니즘을 사용하여 객체 쿼리의 정밀화 및 예측을 수행한다.
• 특히 초기화된 쿼리가 사용될 경우 효과적인 특징 표현을 향상시키기 위해 새로운 토큰 레이블링 손실을 도입한다.
• 예측된 박스 좌표를 제약하여 경계 박스 정렬 정확도를 향상시키기 위해 위치 인식 손실을 적용한다.
• CECA를 플러그인 모듈로 통합하여 어떤 트랜스포머 기반 검출기의 인코더를도 교체 가능하게 하여 다양한 백본과 디코더와의 탄력적 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 객체 검출에서 인코더 없이도 디코더 전용 트랜스포머 아키텍처가 경쟁 가능한 검출 성능을 달성할 수 있는가?
• RQ2 특히 소형 객체에 대해 정확도를 유지하면서도 계산 비용을 줄일 수 있는 다중스케일 특징 상호작용을 어떻게 효율적으로 설계할 수 있는가?
• RQ3 표준 DETR 및 그 변종 대비 인코더를 제거함으로써 모델 복잡성, 추론 속도, 정확도에 어떤 영향을 미치는가?
• RQ4 보조 손실(토큰 레이블링 및 위치 인식 손실)이 객체 쿼리가 백본 특징에서 초기화된 디코더 전용 환경에서 성능 향상에 기여하는가?
• RQ5 다중스케일 검출에서 표준 크로스어텐션 및 변형 가능 어텐션 메커니즘과 비교해 볼 때 제안된 CECA 모듈은 효율성과 정확도 면에서 어떤가?

주요 결과

• Deformable D²ETR-SwinT 백본을 사용한 D²ETR는 COCO 2017에서 50.0 AP를 기록하며, Deformable DETR(44.5 AP)를 능가했고, 계산량은 106 GFLOPs에 그쳤다.
• Deformable D²ETR는 Deformable DETR의 1109MB에서 776MB로 메모리 사용량을 줄였고, 16GB V100 GPU에서 처리량은 187에서 355 이미지/초로 증가했다.
• TensorRT FP16 최적화를 적용한 결과 추론 시간이 43ms로 감소하여 기준 모델에 가까운 지연 시간을 확보하면서도 높은 정확도를 유지했다.
• 토큰 레이블링 손실과 함께 CECA 모듈을 적용했을 때, 기본 D²ETR 대비 +8.3 AP, Deformable DETR 대비 +5.5 AP 향상을 기록하여 강력한 일반화 능력을 입증했다.
• 절단 분석 결과, 인코더 제거로 197에서 106 GFLOPs로 GFLOPs가 49% 감소했고, 처리량이 향상되었으며, 보조 손실이 없을 경우 약간의 정확도 저하가 있었음에도 불구하고 전체적으로 성능 향상이 확인되었다.
• 위치 인식 손실과 토큰 레이블링 손실은 특히 객체 쿼리가 백본 특징에서 초기화된 변형 가능 버전에서 경계 박스 정렬 정확도와 특징 표현 능력을 크게 향상시켰다.