[論文レビュー] ZSD-YOLO: Zero-Shot YOLO Detection using Vision-Language KnowledgeDistillation.

Johnathan Xie, Shuai Zheng|arXiv (Cornell University)|Sep 24, 2021

COVID-19 diagnosis using AI参考文献 34被引用数 13

ひとこと要約

ZSD-YOLOは、CLIPの画像およびテキスト埋め込みを、変更を加えたYOLOv5ヘッドと整合させることで、より少ないパラメータでSOTAの精度を達成する視覚言語知識蒸留手法を提案する。この手法により、COCOにおけるゼロショットオブジェクト検出が可能となり、再訓練を必要とせず、あらゆる未学習クラスの推論が可能である。さらに、追加データなしで自己学習を用いることで、さらなる性能向上が達成される。

ABSTRACT

Real-world object sampling produces long-tailed distributions requiring exponentially more images for rare types. Zero-shot detection, which aims to detect unseen objects, is one direction to address this problem. A dataset such as COCO is extensively annotated across many images but with a sparse number of categories and annotating all object classes across a diverse domain is expensive and challenging. To advance zero-shot detection, we develop a Vision-Language distillation method that aligns both image and text embeddings from a zero-shot pre-trained model such as CLIP to a modified semantic prediction head from a one-stage detector like YOLOv5. With this method, we are able to train an object detector that achieves state-of-the-art accuracy on the COCO zero-shot detection splits with fewer model parameters. During inference, our model can be adapted to detect any number of object classes without additional training. We also find that the improvements provided by the scaling of our method are consistent across various YOLOv5 scales. Furthermore, we develop a self-training method that provides a significant score improvement without needing extra images nor labels.

研究の動機と目的

• レアなカテゴリが十分な学習データを持たない現実世界のオブジェクト検出における長尾分布問題に対処すること。
• 追加のトレーニングやアノテーションを必要とせずに、未学習のオブジェクトカテゴリのゼロショット検出を可能にすること。
• より軽量でパラメータ効率の良い手法を用いて、COCOのゼロショットスプリットにおける検出精度を向上させること。
• 異なるYOLOv5モデルサイズにおけるこの手法のスケーラビリティと一貫性を検証すること。

提案手法

• CLIPの事前学習済みの視覚およびテキストエンコーダーを活用し、整合された画像およびテキスト埋め込みを抽出する。
• CLIPのテキスト埋め込みをクラスプロトタイプとして用いて、変更を加えたYOLOv5ワンステージ検出ヘッドがオブジェクトクラスを予測するように適応する。
• 検出器の特徴マップとCLIPの画像・テキスト対照表現を一致させることで、知識蒸留を実行する。
• 追加の画像やラベルを必要とせず、性能を向上させる自己学習戦略を導入する。
• 検出器の予測とCLIPのゼロショット分類スコアの乖離を最小化する蒸留損失を用いる。
• トレーニング中にエンドツーエンドでこの手法を適用し、テスト時にあらゆる未学習クラスに対して直接推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 視覚言語知識蒸留は、最小限のパラメータ増加でCOOのゼロショットオブジェクト検出精度を向上させることができるか？
• RQ2 本手法は、YOLOv5のさまざまなモデルサイズにおいて、ゼロショット検出性能の面でどのようにスケーリングするか？
• RQ3 追加のラベル付きデータなしで、自己学習がどの程度ゼロショット検出性能を向上させられるか？
• RQ4 CLIPの埋め込みとYOLOベースの検出ヘッドとの整合化は、多様なオブジェクトカテゴリにわたり一貫した改善をもたらすか？
• RQ5 再トレーニングなしで、任意の数の未学習オブジェクトクラスを検出できるか？

主な発見

• ZSD-YOLOは、先行手法よりも少ないモデルパラメータで、COCOのゼロショット検出ベンチマークでSOTAの精度を達成した。
• 本手法は、すべてのYOLOv5スケールバリアントで一貫した性能向上を示し、強力なスケーラビリティを示した。
• 自己学習は、追加の画像やアノテーションを必要とせず、検出スコアを顕著に向上させた。
• 本モデルは、再トレーニングなしで、あらゆる未学習のオブジェクトクラスに対して推論が可能であり、真のゼロショット一般化を示した。
• 視覚言語蒸留フレームワークは、CLIPのゼロショット能力をワンステージオブジェクト検出器に効果的に転送した。
• 意味的整合性を用いることで、レアまたは未学習のクラスの検出が可能となり、高価なデータ収集やアノテーションの必要性が削減された。