[論文レビュー] RegionBLIP: A Unified Multi-modal Pre-training Framework for Holistic and Regional Comprehension

Qiang Zhou, Chaohui Yu+4 more|arXiv (Cornell University)|Aug 3, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

RegionBLIP は、画像と点群における包括的画像および局所的オブジェクトを理解できる統合的マルチモーダル事前学習フレームワークを提案する。位置補助特徴抽出（PaFE）モジュールを用いてテキストに整合した局所的特徴を生成し、BLIP-2 の Q-Former を固定したまま、モality固有の LoRA パrameter のみを段階的に微調整することで、大規模な画像テキストデータの再学習なしに、画像領域、点群、点群領域のキャプションベンチマークで最先端の性能を達成した。

ABSTRACT

In this work, we investigate extending the comprehension of Multi-modal Large Language Models (MLLMs) to regional objects. To this end, we propose to extract features corresponding to regional objects as soft prompts for LLM, which provides a straightforward and scalable approach and eliminates the need for LLM fine-tuning. To effectively extract regional features from regular image features and irregular point cloud features, we present a novel and unified position-assisted feature extraction module. Furthermore, training an MLLM from scratch is highly time-consuming. Thus, we propose incrementally extending existing pre-trained MLLMs to comprehend more modalities and the regional objects of those modalities. Specifically, we freeze the Q-Former from BLIP-2, an impressive MLLM, and optimize the modality-specific Lora parameters in Q-Former and LLM for each newly introduced modality. The freezing of the Q-Former eliminates the need for extensive pre-training on massive image-text data. The freezed Q-Former pre-trained from massive image-text data is also beneficial for the pre-training on image-region-text data. We name our framework RegionBLIP. We pre-train RegionBLIP on image-region-text, point-cloud-text, and point-cloud-region-text data. Experimental results verify that \Ours{} can preserve the image comprehension capability of BILP-2 and further gain a comprehension of the newly introduced point cloud modality and regional objects. The Data, Code, and Pre-trained models will be available at https://github.com/mightyzau/RegionBLIP.

研究の動機と目的

• マルチモーダル大規模言語モデル（MLLM）の能力を、包括的画像理解に加え、画像および点群内の局所的オブジェクトの理解へと拡張すること。
• MLLM を再訓練せずに事前学習する際の高い計算コストを低減するため、段階的微調整アプローチを提案すること。
• 言語ベースの位置記述に依存する従来の局所的理解手法の限界を克服すること。これらは生成が難しく、LLM の微調整を要する。
• 通常の画像特徴と不規則な点群特徴の両方から、スケーラブルで統一的な方法で局所的特徴を抽出する手法を開発すること。
• オープンワールドのシナリオにおける局所的理解の学習と評価を支援するため、大規模かつオープンソースのデータセット RegionCap-10M を公開すること。

提案手法

• 空間的位置符号化を用いて、通常の画像特徴と不規則な点群特徴の両方から局所的特徴を抽出する位置補助特徴抽出（PaFE）モジュールを提案する。
• PaFE モジュールを用いて、テキストに整合した局所的特徴を生成し、それらを LLM にソフトな視覚プロンプトとして入力することで、言語ベースの位置記述を必要とせずに直接的な局所的理解を可能にする。
• Q-Former を固定し、点群や局所的オブジェクトなどの新しいモダリティに対してのみ、モダリティ固有の LoRA パrameter を微調整する段階的事前学習スキームを採用する。
• 既存の事前学習済み BLIP-2 の重みを活用することで、画像理解能力を保持しつつ、最小限の追加学習で新しいモダリティへと拡張可能である。
• CC3M、C12M、COYO-700M などの既存の画像データセットから、ボクシングボックスとテキストのペairを抽出し、Web スケールのボックス-テキストペアデータセット RegionCap-10M を構築する。
• 対照的損失と言語モデリング損失を用いて、画像領域テキスト、点群テキスト、点群領域テキストのデータで RegionBLIP を学習し、局所的特徴とテキスト記述を整合させる。

実験結果

リサーチクエスチョン

• RQ1 統合的フレームワークは、画像や点群といった多様なモダリティにおける包括的画像理解と局所的オブジェクト理解の両方を効果的に可能にするか？
• RQ2 通常の画像特徴と不規則な点群特徴の両方から、LLM で使用可能な効率的かつ一貫性のある局所的特徴を効率的に抽出できるか？
• RQ3 BLIP-2 の Q-Former を固定し、モダリティ固有の LoRA パrameter のみを微調整することで、画像理解能力を保持しつつ、新しいモダリティへの効率的拡張が可能か？
• RQ4 位置情報の支援なしのベースライン手法と比較して、提案された PaFE モジュールは局所的理解性能をどの程度向上させるか？
• RQ5 RegionCap-10M のような大規模かつオープンソースのデータセットは、オープンワールドのシナリオにおける MLLM の局所的理解能力を顕著に向上させるか？

主な発見

• RegionBLIP は BLIP-2 の画像理解性能を維持しており、COCO キャプションベンチマークで CIDEr スコア 113.6、RefCOCO で 64.2 を達成し、有効な知識移行を示した。
• PaFE モジュールは局所的理解を顕著に向上させた。PaFE を用いることで、RefCOCO で CIDEr スコア 63.5（PaFE なしでは 44.7）を達成し、Objaverse で 112.7（なしでは 84.7）を達成した。
• 点群領域キャプションの ReferScannet バリデーションセットでは、CIDEr スコア 59.3 を達成し、3D 点群データへの優れた一般化能力を示した。
• Q-Former を固定し、モダリティ固有の LoRA チューニングを行う段階的トレーニングスキームにより、大規模な画像テキストデータの再学習なしに、新しいモダリティへの効率的拡張が可能となった。
• 570万枚の画像と 1080万件の局所的アノテーションを含む、新たに構築されたデータセット RegionCap-10M が公開され、将来的な局所的理解研究を支援する。
• アブレーションスタディにより、PaFE が点群キャプションと点群領域キャプションを区別するために不可欠であることが確認され、欠落時には Objaverse CIDEr スコアが 25 ポイント低下した。