[論文レビュー] Gold-YOLO: Efficient Object Detector via Gather-and-Distribute Mechanism

Chengcheng Wang, Wei He+5 more|arXiv (Cornell University)|Sep 20, 2023

Advanced Neural Network Applications被引用数 251

ひとこと要約

Gold-YOLO は、Gather-and-Distribute (GD) ネックを導入して YOLO の多段階特徴融合を強化しつつ MAEスタイルの事前学習を可能にすることで、競争力のある速度でより高い AP を達成します。

ABSTRACT

In the past years, YOLO-series models have emerged as the leading approaches in the area of real-time object detection. Many studies pushed up the baseline to a higher level by modifying the architecture, augmenting data and designing new losses. However, we find previous models still suffer from information fusion problem, although Feature Pyramid Network (FPN) and Path Aggregation Network (PANet) have alleviated this. Therefore, this study provides an advanced Gatherand-Distribute mechanism (GD) mechanism, which is realized with convolution and self-attention operations. This new designed model named as Gold-YOLO, which boosts the multi-scale feature fusion capabilities and achieves an ideal balance between latency and accuracy across all model scales. Additionally, we implement MAE-style pretraining in the YOLO-series for the first time, allowing YOLOseries models could be to benefit from unsupervised pretraining. Gold-YOLO-N attains an outstanding 39.9% AP on the COCO val2017 datasets and 1030 FPS on a T4 GPU, which outperforms the previous SOTA model YOLOv6-3.0-N with similar FPS by +2.4%. The PyTorch code is available at https://github.com/huawei-noah/Efficient-Computing/tree/master/Detection/Gold-YOLO, and the MindSpore code is available at https://gitee.com/mindspore/models/tree/master/research/cv/Gold_YOLO.

研究の動機と目的

• YOLO ネックの情報融合を標準的な FPN/PANet 構造を超えて改善する動機づけ。
• GDベースのネックを二つの分岐（Low-GD と High-GD）と隣接層融合モジュールと共に提案し、cross-scale 特徴の相互作用を強化。
• YOLO 系列の MAE風のマスク付き画像モデリング事前学習を導入して収束性と精度を向上。
• COCO で最先端の精度-速度トレードオフを示し、他の検出タスクへの汎用性を示す。

提案手法

• Gather-and-Distribute (GD) ネックを提案。全レベルの特徴を Feature Alignment Module (FAM) および Information Fusion Module (IFM) でグローバルに集約し、Information Injection Module (Inject) で分配。
• Low-GD は高解像度・小物体特徴用、High-GD は粗い大物体特徴用の二つのGD分岐を実装。畳み込みブロックとトランスフォーマー型の融合をそれぞれ用いる。
• 隣接レベルをさらにブレンドし速度と精度のバランスを取る軽量な adjacent-layer fusion (LAF) モジュールを導入。
• Gold-YOLO 系の収束性と精度を向上させるため backbone に MAEスタイルのマスク付き画像モデリング事前学習を採用。
• Transformer ブロックでは LayerNorm を BatchNorm、GELU を ReLU に置換して推論を高速化し、MIM を使用する場合は convnet に階層的なスパース事前学習を採用。

実験結果

リサーチクエスチョン

• RQ1 unified な Gather-and-Distribute の仕組みは YOLO ネックアーキテクチャにおける跨レベル特徴融合をどのように改善できるか？
• RQ2 Low-GD と High-GD の分岐は小物体・大物体検出性能にどのような影響を与えるか？
• RQ3 MAE風のマスク付き画像モデリング事前学習は YOLO 系の性能と収束速度を改善するか？
• RQ4 GD ネックは既存の YOLO モデルと比較して COCO val2017 で推論速度と全体 AP にどのような影響を与えるか？

主な発見

• Gold-YOLO-N は COCO val2017 で 39.9% AP を達成し、T4 GPU（FP16、bs=1）で 1030 FPS、レイテンシ 1.7 ms（bs=1）。
• Gold-YOLO-S は 46.1% AP（自己蒸留変種は 46.4% AP）、446 FPS（bs=32）、レイテンシ 3.3 ms（bs=1）。
• Gold-YOLO-M は 50.9% AP（68.2% AP50）、220 FPS（bs=32）、レイテンシ 6.4 ms（bs=1）。
• Gold-YOLO-L は 53.2% AP（70.5% AP50）、116 FPS（bs=32）、レイテンシ 11.1 ms（bs=1）。
• Gold-YOLO 系列は同等の速度で YOLOv6/YOLOv8/YOLOv7 系のベースラインを AP で一貫して上回り、 MAE風の事前学習（MIM）は大きなモデルで追加の利得を提供。
• アブレーションにより GD 構造（Low-GD+High-GD+LAF）が AP を高くし、小物体/大物体での特定の改善をもたらしつつ競争力のある FPS を維持することが示された。