[논문 리뷰] DAMO-YOLO : A Report on Real-Time Object Detection Design

Xianzhe Xu, Yiqi Jiang외 4명|arXiv (Cornell University)|2022. 11. 23.

Advanced Neural Network Applications인용 수 118

한 줄 요약

DAMO-YOLO는 NAS 기반 백본, 효율적인 RepGFPN 넥, Compact ZeroHead, AlignOTA 레이블 할당, 그리고 증류를 통해 일반 모델 및 경량 모델에서 COCO에 대한 실시간 객체 탐지 성능을 최첨단으로 확립합니다.

ABSTRACT

In this report, we present a fast and accurate object detection method dubbed DAMO-YOLO, which achieves higher performance than the state-of-the-art YOLO series. DAMO-YOLO is extended from YOLO with some new technologies, including Neural Architecture Search (NAS), efficient Reparameterized Generalized-FPN (RepGFPN), a lightweight head with AlignedOTA label assignment, and distillation enhancement. In particular, we use MAE-NAS, a method guided by the principle of maximum entropy, to search our detection backbone under the constraints of low latency and high performance, producing ResNet/CSP-like structures with spatial pyramid pooling and focus modules. In the design of necks and heads, we follow the rule of ``large neck, small head''.We import Generalized-FPN with accelerated queen-fusion to build the detector neck and upgrade its CSPNet with efficient layer aggregation networks (ELAN) and reparameterization. Then we investigate how detector head size affects detection performance and find that a heavy neck with only one task projection layer would yield better results.In addition, AlignedOTA is proposed to solve the misalignment problem in label assignment. And a distillation schema is introduced to improve performance to a higher level. Based on these new techs, we build a suite of models at various scales to meet the needs of different scenarios. For general industry requirements, we propose DAMO-YOLO-T/S/M/L. They can achieve 43.6/47.7/50.2/51.9 mAPs on COCO with the latency of 2.78/3.83/5.62/7.95 ms on T4 GPUs respectively. Additionally, for edge devices with limited computing power, we have also proposed DAMO-YOLO-Ns/Nm/Nl lightweight models. They can achieve 32.3/38.2/40.5 mAPs on COCO with the latency of 4.08/5.05/6.69 ms on X86-CPU. Our proposed general and lightweight models have outperformed other YOLO series models in their respective application scenarios.

연구 동기 및 목표

• 산업 배치를 위한 실시간 객체 탐지 개선의 동기 부여.
• 지연(latency)-aware 신경망 아키텍처 검색으로 YOLO 기반 탐지기를 개발.
• 지연-정확도 트레이드를 최적화하는 효율적인 넥/가벼운 헤드를 설계.
• 동적 설정에서 분류와 회귀를 정렬하기 위한 레이블 할당 개선.
• 작은 모델의 성능 향상을 위해 증류를 도입.

제안 방법

• MAE-NAS를 사용하여 지연 제약을 받는 백본을 탐색하고 ResNet 유사 구조/CSP 유사 구조를 생성.
• 유연한 채널 차원을 across scales에서 갖는 Efficient RepGFPN 넥을 개발하고 queen-fusion에서 업샘플링 제거.
• ZeroHead를 도입하여 작업 투영 계층만 남겨 두고 큰 넥과 작은 헤드를 가능하게 하는 설계.
• AlignOTA를 제안하여 분류와 회귀 간의 정렬된 동적 레이블 할당으로 균형을 맞춤.
• 채널별 동적 온도(Channel-wise Dynamic Temperature)를 적용한 두 단계 학습과 증류를 통해 소형 모델의 성능을 향상.

실험 결과

연구 질문

• RQ1 NAS로 설계된 백본이 지연 제약 하에서 COCO mAP를 어떻게 개선할 수 있는가?
• RQ2 실시간 제약하에서 어떤 넥/헤드 구성이 최상의 정확도를 제공하는가?
• RQ3 AlignOTA가 동적 레이블 할당에서 분류와 회귀 간의 정렬을 개선하는가?
• RQ4 증류가 작은 DAMO-YOLO 모델의 실시간 처리량을 해치지 않으면서 성능을 어떻게 향상시키는가?

주요 결과

• DAMO-YOLO-T/S/M/L은 T4 GPU에서 2.78/3.83/5.62/7.95 ms 지연으로 COCO에서 43.6/47.7/50.2/51.9 mAP를 달성.
• DAMO-YOLO-Ns/Nm/Nl 경량 모델은 X86-CPU에서 4.08/5.05/6.69 ms 지연으로 COCO에서 32.3/38.2/40.5 mAP를 달성.
• MAE-NAS 백본(MAE-Res, MAE-CSP)은 정확도/지연 트레이드오프에서 CSP-Darknet 베이스라인을 능가하며, 특히 큰/깊은 네트워크에서 더욱 그렇다.
• 대형 넥/1-프로젝션 헤드(ZeroHead) 구성은 계산을 줄이면서도 강력한 성능을 제공합니다.
• AlignOTA는 ATSS/sOTA/TOOD 대비 레이블 할당을 개선하여 더 높은 AP를 달성.
• 증류(CWD 선호)는 소형에서 중간 규모의 DAMO-YOLO 모델의 성능을 향상시킨다.