[論文レビュー] RegionCLIP: Region-based Language-Image Pretraining

Yiwu Zhong, Jianwei Yang+9 more|arXiv (Cornell University)|Dec 16, 2021

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

RegionCLIPは、事前学習済みのCLIPモデルを用いて疑似領域記述を生成することで、画像領域とテキスト的概念の間の微細な整合性を学習する領域ベースの視覚言語事前学習手法を提案する。対照的学習と知識蒸留を用いて、疑似領域-テキストペアと実際の画像-テキストペアの両方で事前学習することで、RegionCLIPはCOCOとLVISでそれぞれ3.8 AP50および2.2 APの向上を達成し、最先端の性能を発揮し、強力なゼロショット検出能力を実現した。

ABSTRACT

Contrastive language-image pretraining (CLIP) using image-text pairs has achieved impressive results on image classification in both zero-shot and transfer learning settings. However, we show that directly applying such models to recognize image regions for object detection leads to poor performance due to a domain shift: CLIP was trained to match an image as a whole to a text description, without capturing the fine-grained alignment between image regions and text spans. To mitigate this issue, we propose a new method called RegionCLIP that significantly extends CLIP to learn region-level visual representations, thus enabling fine-grained alignment between image regions and textual concepts. Our method leverages a CLIP model to match image regions with template captions and then pretrains our model to align these region-text pairs in the feature space. When transferring our pretrained model to the open-vocabulary object detection tasks, our method significantly outperforms the state of the art by 3.8 AP50 and 2.2 AP for novel categories on COCO and LVIS datasets, respectively. Moreoever, the learned region representations support zero-shot inference for object detection, showing promising results on both COCO and LVIS datasets. Our code is available at https://github.com/microsoft/RegionCLIP.

研究の動機と目的

• CLIPベースのモデルにおける画像レベルと領域レベルの視覚的理解の間のドメインシフトを解消すること。
• 手動による領域レベルのアノテーションを必要とせず、画像領域とテキストスパンの間の微細な整合性を学習すること。
• オープンボキャブラリー物体検出タスクにおけるゼロショットおよび転移学習性能の向上。
• 各画像にペairedされたテキストを超えた領域記述を生成するスケーラブルな手法の開発。
• 視覚言語モデルにおける画像レベルの事前学習と領域レベルの認識のギャップを埋めること。

提案手法

• 事前学習済みのCLIPモデルを用いて、事前に定義されたテンプレートにオブジェクト概念を埋め込むことで、疑似領域-テキストペアを生成する。
• 事前学習済みのCLIPモデルを用いて、候補となる画像領域と合成された記述をマッチングさせ、ノイズがあるが有用な教師信号を生成する。
• 実際の画像-テキストペアと生成された疑似領域-テキストペアの両方を用いて、対照的学習により新しい視覚言語モデルを事前学習する。
• 知識蒸留を適用して、教師モデル（CLIP）の整合性知識を学生モデル（RegionCLIP）に転送する。
• 画像領域のための共同視覚的および言語的表現を学習するためのデュアルブランチアーキテクチャを採用する。
• オブジェクト検出におけるベースカテゴリとネイティブカテゴリのパフォーマンスをバランスさせるために、ファインチューニング時にフォーカルスケーリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 画像-テキストペアで事前学習された視覚言語モデルは、オブジェクト検出における領域レベルの理解に効果的に適応可能か？
• RQ2 人為的領域記述アノテーションがなければ、画像領域とテキストトークンの間の微細な整合性をどのように学習できるか？
• RQ3 疑似ラベル付きの領域-テキストペアを用いることで、下流のオブジェクト検出パフォーマンスにどのような影響を与えるか？
• RQ4 領域ベースの事前学習は、新規カテゴリにおけるゼロショットオブジェクト検出をどの程度可能にするか？
• RQ5 教師モデルの選択とバックボーンアーキテクチャの選定が、学生モデル（RegionCLIP）のパフォーマンスに与える影響はいかほどか？

主な発見

• オープンボキャブラリー物体検出における新規カテゴリについて、COCOデータセットで前回の最先端手法比で3.8 AP50の向上を達成した。
• LVISデータセットでは、新規カテゴリのAPが前回の手法比で2.2ポイント向上した。
• COCOの一般化ゼロショット設定（17のベースカテゴリと48の新規カテゴリ）において、39.3 AP50を達成し、CLIPより7.9ポイント優れていた。
• LVISにおける1203カテゴリのゼロショット推論では、RegionCLIPは「てんとう虫」（99.5％の信頼度）のような高信頼度のラベルを正しく予測したが、CLIPはそのような予測ができなかった。
• 失敗事例でさえも、RegionCLIPは「フェレット」や「シェパードドッグ」のように視覚的に類似した概念を予測する一方、CLIPは「グリズリー」や「ゴリラ」のように意味的に関連のないものを予測した。
• アブレーションスタディにより、フォーカルスケーリングが新規カテゴリにおける一般化性能を向上させること、および教師モデルの品質がゼロショット性能に顕著に影響することが確認された。