[論文レビュー] DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection

Shilin Xu, Xiangtai Li+4 more|arXiv (Cornell University)|Oct 2, 2023

Natural Language Processing Techniques被引用数 6

ひとこと要約

本論文では、事前学習済みの視覚言語モデル（例：CLIP）を活用して、トレーニング中に新しいクラスの高品質な偽ラベルを生成する、動的自己訓練手法DST-Detを提案する。シンプルでエンド・ツー・エンドのパイプラインにより、これらの偽ラベルを動的にフィルタリング・統合することで、追加データ・パラメータ・推論コストなしに新規クラスのAPを向上させ、LVISでは1.7%、V3Detでは6.5%以上高い性能を達成する。

ABSTRACT

Open-vocabulary object detection (OVOD) aims to detect the objects beyond the set of classes observed during training. This work introduces a straightforward and efficient strategy that utilizes pre-trained vision-language models (VLM), like CLIP, to identify potential novel classes through zero-shot classification. Previous methods use a class-agnostic region proposal network to detect object proposals and consider the proposals that do not match the ground truth as background. Unlike these methods, our method will select a subset of proposals that will be considered as background during the training. Then, we treat them as novel classes during training. We refer to this approach as the self-training strategy, which enhances recall and accuracy for novel classes without requiring extra annotations, datasets, and re-training. Compared to previous pseudo methods, our approach does not require re-training and offline labeling processing, which is more efficient and effective in one-shot training. Empirical evaluations on three datasets, including LVIS, V3Det, and COCO, demonstrate significant improvements over the baseline performance without incurring additional parameters or computational costs during inference. In addition, we also apply our method to various baselines. In particular, compared with the previous method, F-VLM, our method achieves a 1.7% improvement on the LVIS dataset. Combined with the recent method CLIPSelf, our method also achieves 46.7 novel class AP on COCO without introducing extra data for pertaining. We also achieve over 6.5% improvement over the F-VLM baseline in the recent challenging V3Det dataset. We release our code and models at https://github.com/xushilin1/dst-det.

研究の動機と目的

• トレーニング時と推論時に新規クラスの扱いに生じる概念的ギャップを解消すること。具体的には、トレーニング時には新規クラスがバックグラウンドとして扱われるが、推論時にはそれらを検出可能にする必要がある。
• 追加のアノテーション、データセット、または学習可能なコンponentsに依存せずに、新規クラスの検出性能を向上させること。
• ゼロショット能力を活用して動的に偽ラベルを生成・精錬する、プラグイン可能でエンド・ツー・エンドのトレーニング戦略を開発すること。
• VLMの自己知識とRPN出力を利用することで、COCO、LVIS、V3Detのような大規模ボリュームのデータセットにおいて顕著な性能向上を達成すること。

提案手法

• 本手法は、RPNの領域提案に対してCLIPのゼロショット分類能力を用いて、トレーニング中に新規クラスの偽ラベルを動的に生成する。
• CLIPの視覚特徴と新規クラスのテキスト埋め込みの間のコサイン類似度に基づき、高信頼度の提案をフィルタリングするメカニズムを適用する。
• 選別された提案は、分類ヘッドの教師信号としての偽ラベルとして使用され、トレーニング中に新規カテゴリの認識能力が直接向上する。
• オフライン精錬ステップ（OR）により、信頼度閾値を用いて再スコアリングおよびフィルタリングすることで、偽ラベルの品質をさらに向上させ、再現率と正確性を向上させる。
• 本手法はエンド・ツー・エンドかつプラグアンドプレイであり、追加の学習可能なコンponentsや二段階トレーニングパイプラインを必要としない。
• 既存の検出器とシームレスに統合可能で、偽ラベルを統合するためにRPNおよびRoIヘッドの分類損失のみを変更する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に自己生成された偽ラベルを活用することで、オープンボリュームオブジェクト検出における新規クラスのトレーニングと推論のギャップを埋めることは可能か？
• RQ2 VLMとRPN出力に基づく動的偽ラベル生成は、追加データやパラメータなしに新規クラス検出性能を向上させるのにどの程度有効か？
• RQ3 フィルタリング基準とオフライン精錬の影響は、偽ラベルの品質と下流の検出精度にどのような影響を与えるか？
• RQ4 本手法は、COCO、LVIS、V3Detのようなボリュームサイズが異なるデータセット間で一般化可能か？
• RQ5 本手法は、従来の二段階アプローチやデータ拡張手法と比較して、性能と効率の面で優れているか？

主な発見

• DST-Detは、前回のSOTA手法F-VLMと比較して、LVISデータセットで新規クラスAPが1.7%絶対的に向上した。
• 10,000以上のクラスを含む挑戦的なV3Detデータセットでは、新規クラスAPが6.5%以上向上した。
• CLIPSelfと組み合わせることで、追加の事前学習データなしにCOCOの新規クラスで46.7 APを達成した。
• オフライン精錬ステップ（OR）は、すでに高い再現率を持つCOCOでは顕著な性能向上をもたらしたが、LVIS や V3Det のような大規模ボリュームデータセットでは限られた向上にとどまった。
• アブレーションスタディの結果、高信頼度の偽ラベルが極めて重要であり、信頼度に基づくフィルタリングが新規クラスのARおよびAPの両方を向上させることを確認した。
• 可視化結果から、本手法は「スープ」や「ビールボトル」など、従来のベースラインモデルが見逃していた新規クラスを効果的に検出・セグメンテーションできていることが示された。