[논문 리뷰] Gold-YOLO: Efficient Object Detector via Gather-and-Distribute Mechanism

Chengcheng Wang, Wei He외 5명|arXiv (Cornell University)|2023. 09. 20.

Advanced Neural Network Applications인용 수 251

한 줄 요약

Gold-YOLO는 Gather-and-Distribute(GD) 목을 도입하여 YOLO의 다중 스케일 특징 융합을 강화하고 MAE 스타일 프리트레이닝을 가능하게 하여, 속도 경쟁력을 유지하면서도 AP를 높인다.

ABSTRACT

In the past years, YOLO-series models have emerged as the leading approaches in the area of real-time object detection. Many studies pushed up the baseline to a higher level by modifying the architecture, augmenting data and designing new losses. However, we find previous models still suffer from information fusion problem, although Feature Pyramid Network (FPN) and Path Aggregation Network (PANet) have alleviated this. Therefore, this study provides an advanced Gatherand-Distribute mechanism (GD) mechanism, which is realized with convolution and self-attention operations. This new designed model named as Gold-YOLO, which boosts the multi-scale feature fusion capabilities and achieves an ideal balance between latency and accuracy across all model scales. Additionally, we implement MAE-style pretraining in the YOLO-series for the first time, allowing YOLOseries models could be to benefit from unsupervised pretraining. Gold-YOLO-N attains an outstanding 39.9% AP on the COCO val2017 datasets and 1030 FPS on a T4 GPU, which outperforms the previous SOTA model YOLOv6-3.0-N with similar FPS by +2.4%. The PyTorch code is available at https://github.com/huawei-noah/Efficient-Computing/tree/master/Detection/Gold-YOLO, and the MindSpore code is available at https://gitee.com/mindspore/models/tree/master/research/cv/Gold_YOLO.

연구 동기 및 목표

• YOLO 목의 정보 융합을 표준 FPN/PANet 구조를 넘어 개선하는 동기를 제시한다.
• 저GD(두 가지 가지: Low-GD와 High-GD) 및 인접 레이어 융합 모듈을 포함한 GD 기반 목을 제안하여 크로스-스케일 특징 상호 작용을 강화한다.
• YOLO 시리즈에 MAE 스타일 마스킹 이미지 모델링 전처리를 도입하여 수렴성과 정확도를 향상시킨다.
• COCO에서 최첨단 정확도-속도 트레이드오프를 시연하고 다른 탐지 작업에 대한 일반성을 보여준다.

제안 방법

• Gather-and-Distribute(GD) 목을 제안하여 Feature Alignment Module(FAM)과 Information Fusion Module(IFM)을 통해 모든 레벨의 특징을 전역적으로 모은 뒤 Information Injection Module(Inject)을 통해 분배한다.
• 저GD(Low-GD)와 고GD(High-GD) 두 가지 가지를 구현하여 고해상도/소객체 특징과 거친대상 특징을 각각 다루고, 컨볼루션 기반 블록과 트랜스포머 기반 융합을 각각 사용한다.
• 인접 레이어 융합(LAF) 모듈을 도입하여 이웃 레벨 간 융합을 추가로 강화하고 속도-정확도 균형을 맞춘다.
• 백본에 MAE 스타일의 마스킹 이미지 모델링 프리트레이닝을 채택하여 Gold-YOLO 모델의 수렴 및 정확도를 향상시킨다.
• Transformer 블록에서 LayerNorm을 BatchNorm으로, GELU를 ReLU로 대체하여 추론 속도를 높이고 MIM을 사용할 때 합성곱 신경망에 계층적 희소 프리트레이닝 접근법을 채택한다.

실험 결과

연구 질문

• RQ1 Unified gather-and-distribute 메커니즘이 YOLO-목 아키텍처에서 크로스 레벨 특징 융합을 어떻게 개선할 수 있는가?
• RQ2 소객체에 대한 Low-GD와 대객체에 대한 High-GD 가지가 작은 객체/큰 객체 탐지 성능에 어떤 영향을 미치는가?
• RQ3 MAE 스타일 마스킹 이미지 모델링 프리트레이닝이 YOLO 시리즈의 성능과 수렴 속도를 개선하는가?
• RQ4 GD 목이 기존 YOLO 모델에 비해 COCO val2017에서 추론 속도 및 전반적 AP에 미치는 영향은 무엇인가?

주요 결과

• Gold-YOLO-N은 COCO val2017에서 39.9% AP를 달성하였고 T4 GPU(FP16, bs=1)에서 1030 FPS, 지연 시간 1.7 ms를 기록한다.
• Gold-YOLO-S는 46.1% AP(자체 증류 변형은 46.4% AP)를 달성하고 446 FPS(bs=32), 지연 시간 3.3 ms를 기록한다.
• Gold-YOLO-M은 50.9% AP(68.2% AP50)를 달성하고 220 FPS(bs=32), 지연 시간 6.4 ms를 기록한다.
• Gold-YOLO-L은 53.2% AP(70.5% AP50)를 달성하고 116 FPS(bs=32), 지연 시간 11.1 ms를 기록한다.
• Gold-YOLO 변형은 동일 속도에서 대응되는 YOLOv6/YOLOv8/YOLOv7 기반보다 AP가 일관되게 높으며, MAE 스타일 프리트레이닝(MIM)은 더 큰 모델에서 추가 이점을 제공한다.
• Abration 결과 GD 구조(Low-GD+High-GD+LAF)가 작은 물체/큰 물체에서 향상된 AP와 타깃된 개선을 보여 주면서도 FPS를 경쟁력 있게 유지한다.