[論文レビュー] Learning to Prompt for Open-Vocabulary Object Detection with Vision-Language Model

Yu Du, Fangyun Wei+4 more|arXiv (Cornell University)|Mar 28, 2022

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

本稿では、視覚言語モデルを用いてオープンボックスオブジェクト検出のための連続プロンプト表現を自動で学習する手法であるDetection Prompt (DetPro) を提案する。従来の画像分類に注力した手法とは異なり、DetProはネガティブな候補（背景）を最適化するための背景解釈スキームと、フォアグラウンド候補のためのプロンプト学習を文脈に応じて調整する文脈グレーディングスキームを導入しており、LVISベンチマークにおいてベースラインのViLDと比較して新規クラスで+3.4 AP¹¹および+3.0 AP¹¹の向上を達成している。

ABSTRACT

Recently, vision-language pre-training shows great potential in open-vocabulary object detection, where detectors trained on base classes are devised for detecting new classes. The class text embedding is firstly generated by feeding prompts to the text encoder of a pre-trained vision-language model. It is then used as the region classifier to supervise the training of a detector. The key element that leads to the success of this model is the proper prompt, which requires careful words tuning and ingenious design. To avoid laborious prompt engineering, there are some prompt representation learning methods being proposed for the image classification task, which however can only be sub-optimal solutions when applied to the detection task. In this paper, we introduce a novel method, detection prompt (DetPro), to learn continuous prompt representations for open-vocabulary object detection based on the pre-trained vision-language model. Different from the previous classification-oriented methods, DetPro has two highlights: 1) a background interpretation scheme to include the proposals in image background into the prompt training; 2) a context grading scheme to separate proposals in image foreground for tailored prompt training. We assemble DetPro with ViLD, a recent state-of-the-art open-world object detector, and conduct experiments on the LVIS as well as transfer learning on the Pascal VOC, COCO, Objects365 datasets. Experimental results show that our DetPro outperforms the baseline ViLD in all settings, e.g., +3.4 APbox and +3.0 APmask improvements on the novel classes of LVIS. Code and models are available at https://github.com/dyabel/detpro.

研究の動機と目的

• 手動によるプロンプト設計の課題に対処すること。これは時間のかかる作業であり、分野の専門知識を要する。
• 新規オブジェクトクラスにうまく一般化できる連続プロンプト表現を自動で学習すること。
• プロンプト学習中にネガティブ（背景）候補と、ポジティブ候補の文脈レベルの違いを組み込むことで、検出性能を向上させること。
• 従来、画像分類に限られていたプロンプト表現学習を、フォアグラウンドとバックグラウンドを区別する必要があるより複雑なオブジェクト検出の設定に適応すること。
• 学習されたプロンプト表現が、検出およびゼロショット分類の両タスクにおいて、手作業で作成されたプロンプトを上回ることを実証すること。

提案手法

• DetProは、ネガティブな候補の埋め込みがすべてのクラス埋め込みから遠く離れるように明示的に最適化される背景解釈スキームを導入しており、背景の識別性能が向上する。
• ポジティブな候補を異なる文脈レベルに分割し、それぞれのレベルに応じた最適化されたプロンプト学習を適用する文脈グレーディングスキームを採用している。
• 温度を0.01とする対照的クロスエントロピー損失を用いて連続プロンプト埋め込みを学習し、画像候補の埋め込みと対応するクラス埋め込みの類似度を最適化している。
• DetProは、トレーニングおよび推論時にプロンプトベースのテキストエンコーダーを学習済みの連続プロンプトに置き換えることで、最先端のオープンボックス検出器であるViLDに統合されている。
• トレーニングプロセスではマルチスケールのデータオーグメンテーションとバッチサイズ512が使用されており、RPNは1枚の画像あたり最大1000個の候補を生成する。
• 推論時、学習済みのプロンプト埋め込みが使用され、検出器ヘッド内のオブジェクト候補の分類器としてのクラス埋め込みが生成される。

実験結果

リサーチクエスチョン

• RQ1 画像分類からオブジェクト検出というより複雑なタスクに連続プロンプト学習を効果的に適応できるか？
• RQ2 プロンプト学習にネガティブ（背景）候補を含めることで、オープンボックス設定における検出性能にどのような影響を与えるか？
• RQ3 ポジティブ候補の文脈レベルに応じてプロンプト学習をカスタマイズすることで、新規クラスへの一般化性能が向上するか？
• RQ4 学習されたプロンプト表現は、検出およびゼロショット画像分類の両方のタスクで、手作業で作成されたプロンプトを上回る性能を発揮できるか？
• RQ5 プロンプト学習時に使用するポジティブサンプルの数を変化させた場合、モデルの一般化性能にどのような影響を与えるか？

主な発見

• DetProは、ベースラインのViLDと比較して、LVISベンチマークにおいて新規クラスで+3.4 AP¹¹および+3.0 AP¹¹の向上を達成した。
• DetProのトレーニング時にすべてのポジティブサンプルを使用すると一般化性能が最良となり、新規クラスでのAP¹¹は25.4に達した。
• プロンプト設計と比較して、DetProは新規クラスのトップ1およびトップ5の候補分類精度をそれぞれ21.7%および40.3%まで向上させた（対応する値は17.7%および37.2%）。
• 最適な設定下で、事前学習済みのViLDとDetProをアンサンブルすることでさらに性能向上が得られ、AP¹¹は25.4に上昇した。
• t-SNE可視化により、Pascal VOC、COCO、Objects365の全データセットで、プロンプト設計によるものよりもDetProが生成するクラス埋め込みが埋め込み空間でより識別性が高いことが確認された。
• アブレーションスタディの結果、文脈グレーディングスキームおよび背景解釈スキームの両方が不可欠であることが示され、それらの欠落は性能の低下を引き起こした。