[論文レビュー] Region-centric Image-Language Pretraining for Open-Vocabulary Detection

Dahun Kim, Anelia Angelova+1 more|arXiv (Cornell University)|Sep 29, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本論文は、標準的な分類ベースの事前学習を検出器アーキテクチャに置き換えることで、対照的損失のみを用いてノイズの多い画像・テキストペアから領域レベルのオープンボリュームオブジェクト表現を学習する、検出器指向の画像・テキスト事前学習手法DITOを提案する。大規模な画像・テキストデータ上で検出器ヘッドを直接訓練し、特徴のロバスト性を向上させるためにシフトド・ウインドウ学習を導入することで、DITOはLVISで40.4のマスクAPr、COCOで40.8のネイティブAPを達成し、偽ラベルなしで最先端の手法を上回る。

ABSTRACT

We present a new open-vocabulary detection approach based on region-centric image-language pretraining to bridge the gap between image-level pretraining and open-vocabulary object detection. At the pretraining phase, we incorporate the detector architecture on top of the classification backbone, which better serves the region-level recognition needs of detection by enabling the detector heads to learn from large-scale image-text pairs. Using only standard contrastive loss and no pseudo-labeling, our approach is a simple yet effective extension of the contrastive learning method to learn emergent object-semantic cues. In addition, we propose a shifted-window learning approach upon window attention to make the backbone representation more robust, translation-invariant, and less biased by the window pattern. On the popular LVIS open-vocabulary detection benchmark, our approach sets a new state of the art of 37.6 mask APr using the common ViT-L backbone and public LAION dataset, and 40.5 mask APr using the DataComp-1B dataset, significantly outperforming the best existing approach by +3.7 mask APr at system level. On the COCO benchmark, we achieve very competitive 39.6 novel AP without pseudo labeling or weak supervision. In addition, we evaluate our approach on the transfer detection setup, where it demonstrates notable improvement over the baseline. Visualization reveals emerging object locality from the pretraining recipes compared to the baseline.

研究の動機と目的

• 事前学習中に領域レベルの表現を学習することで、画像レベルの事前学習とオープンボリュームオブジェクト検出のギャップを埋めること。
• 偽ラベルや追加の監視なしに、大規模でノイズの多い画像・テキストペアから検出器ヘッドが学習できるようにすること。
• 新しいシフトド・ウインドウ学習戦略を用いて、検出におけるビジョントランスフォーマーのロバスト性を向上させ、ウインドウアテンションバイアスを低減すること。
• 弱い監視や共同学習に依存せずに、オープンボリューム検出ベンチマークで最先端の性能を達成すること。
• 事前学習中に検出器アーキテクチャを用いることで、顕在的なオブジェクト局在性と、未知のカテゴリへのより良い一般化が可能になることを示すこと。

提案手法

• 画像・テキストペアからの領域レベルの監視を可能にするために、事前学習中に標準的な画像分類ヘッドを検出器ヘッドに置き換える。
• 複数の特徴ピラミッドレベルにわたるランダムな領域サンプリングとRoIプーリングを用いて、マルチスケールの画像・テキスト監視を提供する。
• RoI埋め込みに対して最大プーリングを適用して領域レベルの特徴を集約し、テキストクエリとの整合性を向上させる。
• 窓サイズ未満のストライドで非オーバーラップウインドウアテンションを適用することで、パターンバイアスを低減し、トランスレーション不変性を向上させる、シフトド・ウインドウ学習（SWL）を導入する。
• 追加の目的関数や偽ラベルなしに、画像・テキストペアの対照的損失のみを用いて学習する。
• 標準的な検出器ヘッド学習を用いて、下流の検出データセットで全検出器をファインチューニングする。

Figure 1: DITO method. Detection-Oriented Pretraining (left): DITO trains the detector heads (e.g. FPN (Li et al., 2022b ; Lin et al., 2017a ) , Faster RCNN head (Ren et al., 2015 ) ) upon a ViT encoder backbone with multi-level image-text contrastive loss to bridge the gap between image-text pretra

実験結果

リサーチクエスチョン

• RQ1 画像・テキスト事前学習中に検出器ヘッドを直接訓練することで、追加の監視なしにオープンボリューム検出性能が向上するか？
• RQ2 分類ベースの事前学習を検出器ベースの事前学習に置き換えることで、局在性の向上と未知のカテゴリへの一般化が図れるか？
• RQ3 シフトド・ウインドウ学習は、検出用途におけるビジョントランスフォーマーの標準的なウインドウアテンションが引き起こすバイアスを緩和できるか？
• RQ4 DITOの検出器指向事前学習は、LVISおよびCOCOにおけるゼロショットおよびフェイントショット一般化性能において、既存手法と比較してどのように差をつけるか？
• RQ5 事前学習特徴が明示的なバウンディングボックス監視なしに、どの程度局在的でオブジェクトに意識された表現を学習するか？

主な発見

• DITOはViT-Lバックボーンを用いてLVISオープンボリューム検出ベンチマークで40.4のマスクAPrを達成し、システムレベルで前回の最良手法を+6.5APr上回った。
• 外部ボックスアノテーションを用いた設定では、DITOは45.8のボックスAPrを達成し、前回の最先端手法と比較して大幅に+12.5ポイント向上した。
• COCOベンチマークでは、DITOは偽ラベルや弱い監視を用いずに40.8のネイティブAPを達成し、未知のカテゴリへの強力な一般化を示した。
• アブレーションスタディの結果、固定バックボーンおよびファインチューニッシュド検出器の両方でシフトド・ウインドウ学習を使用した場合、+4.1APrの最大の向上が得られた。
• SWLの最適なウインドウサイズは4×4であり、全グローバルアテンション（1×1グリッド）よりも+4.6APrの向上を示した。
• 可視化により、DITO特徴が、特に未学習または未知のオブジェクトにおいて、ベースライン特徴よりもより局在的な意味的表現を学習していることが確認された。

Figure 2: Visual-text similarity map . For each example, we show the paired image (left) and text (bottom) input, and the visual-text similarity map using the backbone features (middle) or our detection-oriented pretraining features (right). We use Flickr30K (top row) and COCO Captions (bottom row)