[論文レビュー] Open Vocabulary Object Detection with Pseudo Bounding-Box Labels

Mingfei Gao, Xing Chen+5 more|arXiv (Cornell University)|Nov 18, 2021

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、事前学習済みの視覚言語モデルと大規模な画像キャプションペアを用いて、オープンボックス検出のための擬似バウンディングボックスラベルを生成する手法を提案する。これらのモデルの局在化能力を活用して、多様でスケーラブルなトレーニングアノテーションを自動生成することで、ベースクラスに人為的ラベルボックスを必要としない状況でも、新規カテゴリにおける検出性能を向上させ、COCOの新規カテゴリで最先端手法を8% mAP上回る。

ABSTRACT

Despite great progress in object detection, most existing methods work only on a limited set of object categories, due to the tremendous human effort needed for bounding-box annotations of training data. To alleviate the problem, recent open vocabulary and zero-shot detection methods attempt to detect novel object categories beyond those seen during training. They achieve this goal by training on a pre-defined base categories to induce generalization to novel objects. However, their potential is still constrained by the small set of base categories available for training. To enlarge the set of base classes, we propose a method to automatically generate pseudo bounding-box annotations of diverse objects from large-scale image-caption pairs. Our method leverages the localization ability of pre-trained vision-language models to generate pseudo bounding-box labels and then directly uses them for training object detectors. Experimental results show that our method outperforms the state-of-the-art open vocabulary detector by 8% AP on COCO novel categories, by 6.3% AP on PASCAL VOC, by 2.3% AP on Objects365 and by 2.8% AP on LVIS. Code is available at https://github.com/salesforce/PB-OVD.

研究の動機と目的

• 既存のオープンボックス検出手法が少数の人的ラベル付きベースカテゴリに依存するという制限を解消すること。
• 大規模な画像キャプションデータセットから擬似ラベルを自動生成することで、高価な人的ラベル付きバウンディングボックスへの依存を低減すること。
• トレーニング時に使用するベースカテゴリの多様性とスケールを拡大することで、新規オブジェクトカテゴリへの一般化を向上させること。
• 擬似バウンディングボックスラベルが複数のベンチマークデータセットにおける検出性能向上に寄与するかを評価すること。
• 異なるテキストエンコーダーとデータスケールが、擬似ラベルの品質と一般化性能に与える影響を調査すること。

提案手法

• 画像キャプションに言及されるオブジェクトに対応する活性マップ（Grad-CAM経由）を、事前学習済みの視覚言語モデルから生成する。
• 生成された活性マップを、画像キャプションペア内の対応するオブジェクトカテゴリ用の擬似バウンディングボックスラベルに変換する。
• 自動的に生成された擬似ラベルを用いて、オープンボックスオブジェクト検出器をトレーニングし、新規カテゴリへの一般化を可能にする。
• 人為的ラベル付きボックスが利用可能な場合はファインチューニングを行うが、そのようなファインチューニングがなくても本手法は有効である。
• 擬似ラベル生成プロセスを大規模な画像キャプションデータセット（例：COCO Captions）にスケーリングし、ベースカテゴリの多様性と数を増やす。
• 最終的な検出器性能に与える影響を評価するために、異なるテキストエンコーダー（例：CLIP 対 BERT）とデータ量の影響を検証する。

実験結果

リサーチクエスチョン

• RQ1 画像キャプションペアから生成された擬似バウンディングボックスラベルは、オープンボックスオブジェクト検出性能を向上させることができるか？
• RQ2 擬似ラベル化されたベースカテゴリのスケールと多様性は、新規カテゴリへの検出一般化にどのように影響するか？
• RQ3 事前学習済み視覚言語モデルの局在化能力を活用することで、人的ラベルベースラインよりも正確で一般化可能な擬似ラベルが得られるか？
• RQ4 テキストエンコーダーの選択（例：CLIP 対 BERT）は、生成された擬似ラベルの品質と下流の検出性能にどのように影響するか？
• RQ5 人的ラベル付きベースカテゴリのファインチューニングなしでも、本手法は最先端のオープンボックス検出器を上回る性能を示せるか？

主な発見

• 両手法がCOCOベースカテゴリでファインチューニングされた場合、本手法はCOCO新規カテゴリで最先端手法を8% mAP上回る。
• COCOベースカテゴリでファインチューニングを行わない状況でも、本手法はファインチューニング済みSOTAベースラインより3% mAP高い性能を達成する。
• 事前学習時にCOCOを超えるより大きなオブジェクトカテゴリ語彙を用いることで、Objects365で2.3%、LVISで2.7%の性能向上が得られる。
• 擬似ラベル生成に使用する画像キャプションデータ量を増やすことで、ターゲットセットでの検出性能が約2%向上する。
• CLIPをテキストエンコーダーとして使用した手法は、BERTを用いたものよりわずかに優れた性能を示しており、性能向上の主な要因はエンコーダーの選択ではなく、擬似ラベルのスケールと多様性であることが示唆される。
• 定性的な結果から、擬似ラベル生成器はCOCOの元のカテゴリリストに含まれないオブジェクト（例：スリッパ、鍋、パイ）の局在化に成功しており、語彙外オブジェクトへの一般化能力を示している。