[論文レビュー] Adapting CLIP For Phrase Localization Without Further Training

Jiahao Li, Greg Shakhnarovich+1 more|arXiv (Cornell University)|Apr 7, 2022

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本論文は、微調整や人手によるバウンディングボックスアノテーションを一切用いずに、CLIPを高密度視覚的グランドイングに適応するゼロショットフレーズロケーション手法を提案する。ViTおよびResNetバージョンのCLIPから高解像度の空間特徴マップを抽出することで、テキストクエリと画像特徴の間のピクセル単位の類似度を計算し、ロケーションヒートマップを生成する。Flickr30kおよびVisual Genomeにおいてゼロショット設定で最先端の性能を達成し、先行する訓練なし手法よりも最大5%の絶対的向上を達成した。

ABSTRACT

Supervised or weakly supervised methods for phrase localization (textual grounding) either rely on human annotations or some other supervised models, e.g., object detectors. Obtaining these annotations is labor-intensive and may be difficult to scale in practice. We propose to leverage recent advances in contrastive language-vision models, CLIP, pre-trained on image and caption pairs collected from the internet. In its original form, CLIP only outputs an image-level embedding without any spatial resolution. We adapt CLIP to generate high-resolution spatial feature maps. Importantly, we can extract feature maps from both ViT and ResNet CLIP model while maintaining the semantic properties of an image embedding. This provides a natural framework for phrase localization. Our method for phrase localization requires no human annotations or additional training. Extensive experiments show that our method outperforms existing no-training methods in zero-shot phrase localization, and in some cases, it even outperforms supervised methods. Code is available at https://github.com/pals-ttic/adapting-CLIP .

研究の動機と目的

• 人手によるフレーズロケーションデータセットの高コストおよびスケーラビリティの制限を解決すること。
• オブジェクト検出器やカテゴリーバイアスを有する他の事前学習モデルに依存しないこと。
• 追加のトレーニングなしに、事前学習済みCLIPモデルのみを用いてゼロショットフレーズロケーションを可能にすること。
• オープンボキャブラリー、レア、および未学習のオブジェクトカテゴリに一般化可能な手法を開発すること。

提案手法

• モデルの順伝播を変更することで、ViTおよびResNetアーキテクチャの両方から空間情報を保持した高解像度の空間特徴マップをCLIPが生成できるようにする。
• CLIPのテキストエンコーダーを用いて、入力フレーズを画像特徴と同じ意味的空間に埋め込む。
• テキスト埋め込みと各空間特徴マップとの間でピクセル単位のコサイン類似度を計算し、スコアヒートマップを生成する。
• ヒートマップから最高スコアのバウンディングボックスを抽出するために、非最大抑制に類似した手順を適用する。
• 特徴マップの空間解像度を向上させるためにアップサンプリング技術を用いることで、ロケーション精度を向上させる。
• グランドイング固有のデータに対する微調整なしに、事前学習済みCLIPモデルのゼロショット一般化能力を活用する。

実験結果

リサーチクエスチョン

• RQ1 CLIPは、追加のトレーニングやアノテーションなしに、高密度視覚的グランドイングを実行できるか？
• RQ2 モデルがグランドイングアノテーションを一度も見たことがない状況で、CLIPのゼロショット能力はフレーズロケーションに対してどの程度効果的か？
• RQ3 CLIPバックボーン（ViT対ResNet）および特徴解像度の選択がロケーション性能に与える影響は何か？
• RQ4 事前学習済みオブジェクト検出器に依存する手法と比較して、本手法は珍しいまたは未学習のオブジェクトカテゴリでどの程度の性能を発揮するか？

主な発見

• Flickr30kおよびVisual Genomeの4つのゼロショットスプリットのうち3つにおいて、既存の訓練なし手法よりも最大5%の絶対的向上を達成した。
• Flickr-Allスプリットでは、43.80%の平均IoUを達成し、同じゼロショット設定でZSGNetの38.31%を大きく上回った。
• ViT-L/14モデルはFlickr-S0で40.37%のIoU、Flickr-S1で36.10%のIoUを達成し、未学習のフレーズやカテゴリに対しても強力な一般化能力を示した。
• 高解像度の特徴マップ（2倍アップサンプリング）は、すべてのモデルおよびデータセットで一貫して性能向上をもたらし、一部のスプリットで最大2.5%の向上を記録した。
• 事前学習済みオブジェクト検出器に依存する手法と比較して、本手法は長尾分布および珍しいオブジェクトカテゴリへの一般化が優れており、カテゴリーバイアスを低減した。
• アブレーションスタディの結果、より大きなCLIPモデルと細かい空間解像度がより良いロケーション性能をもたらすことが確認され、ViT-B/16およびViT-L/14がResNetベースのバージョンを上回った。