[論文レビュー] GLaMM: Pixel Grounding Large Multimodal Model

Hanoona Rasheed, Muhammad Maaz+8 more|arXiv (Cornell University)|Nov 6, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

GLaMMは、ピクセル単位のセグメンテーションマスクと自然言語応答をシームレスに統合する最初の大型マルチモーダルモデルであり、テキストおよび視覚的プロンプトを用いた根拠のあるインタラクティブな会話が可能である。81000万の領域と750万の固有の概念を含む大規模で自動アノテーションされたデータセット（GranD）を活用することで、根拠のある会話生成、参照表現セグメンテーション、画像キャプション生成の分野で最先端の性能を達成している。

ABSTRACT

Large Multimodal Models (LMMs) extend Large Language Models to the vision domain. Initial LMMs used holistic images and text prompts to generate ungrounded textual responses. Recently, region-level LMMs have been used to generate visually grounded responses. However, they are limited to only referring to a single object category at a time, require users to specify the regions, or cannot offer dense pixel-wise object grounding. In this work, we present Grounding LMM (GLaMM), the first model that can generate natural language responses seamlessly intertwined with corresponding object segmentation masks. GLaMM not only grounds objects appearing in the conversations but is flexible enough to accept both textual and optional visual prompts (region of interest) as input. This empowers users to interact with the model at various levels of granularity, both in textual and visual domains. Due to the lack of standard benchmarks for the novel setting of visually Grounded Conversation Generation (GCG), we introduce a comprehensive evaluation protocol with our curated grounded conversations. Our proposed GCG task requires densely grounded concepts in natural scenes at a large-scale. To this end, we propose a densely annotated Grounding-anything Dataset (GranD) using our proposed automated annotation pipeline that encompasses 7.5M unique concepts grounded in a total of 810M regions available with segmentation masks. Besides GCG, GLaMM also performs effectively on several downstream tasks, e.g., referring expression segmentation, image and region-level captioning and vision-language conversations.

研究の動機と目的

• マルチモーダル会話において、密度の高いピクセル単位の根拠付けを提供するモデルの不足に対処すること。
• 参照表現セグメンテーション、キャプション生成、視覚的質問応答といった独立したビジョン・ランゲージタスクを、1つの根拠のある会話生成フレームワークに統合すること。
• 根拠のあるマルチモーダル理解のための大規模で高品質な、密度の高いアノテーションが施されたデータセットを自動的に作成するスケーラブルなパイプラインの開発。
• マルチモーダルAIにおける新しいタスクである根拠のある会話生成の包括的な評価プロトコルの確立。
• テキストおよび視覚的プロンプトを1つのエンドツーエンドモデルでサポートすることで、柔軟なマルチモーダルインタラクションを可能にすること。

提案手法

• GLaMMは、統合されたアーキテクチャを用いて、自然言語応答とセグメンテーションマスクを交互に生成するようにエンドツーエンドで訓練されている。
• モデルはテキストプロンプトに加え、オプションの視覚的プロンプト（例：バウンディングボックス）を受け入れることで、多様な粒度のインタラクションを可能にしている。
• 自動アノテーションパイプラインは、Segment Anything Model（SAM）とLLMsを活用して、81000万の領域に750万の固有の概念をラベル付けすることで、Grounding-anything Dataset（GranD）を生成している。
• アノテーション品質を向上させるために、階層的で多段階のスキームを用い、検証ステップとLLMsによる反復的精錬を含んでいる。
• GPT-4のコンテキスト学習を用いて、既存の手動アノテーション済みデータセット（例：Visual Genome、NoCap）を再形式化することで、高品質なファインチューニングデータセットであるGranD fが構築された。
• GLaMMはGranDで事前学習され、GranD fでファインチューニングされて根拠のある会話生成に特化しており、参照表現セグメンテーションや画像キャプションといった下流タスクでの評価が行われた。

Figure 1 : Grounded Conversation Generation with GLaMM . Our multimodal conversational model can provide natural language responses grounded at the pixel-level in the input image. Different levels of granularity are depicted in the output groundings, e.g., things ( building , tree ), stuff ( grass ,

実験結果

リサーチクエスチョン

• RQ1 1つのマルチモーダルモデルが、全体像の理解に依存せず、ピクセル単位のセグメンテーションマスクを伴う根拠のある会話応答を生成できるか？
• RQ2 スケーラブルで自動化されたパイプラインは、根拠のあるマルチモーダルタスクのための大規模で高品質で密度の高いアノテーション済みデータセットをどのように生成できるか？
• RQ3 統合されたモデルは、参照表現セグメンテーションや画像キャプションを含む複数の根拠のあるビジョン・ランゲージタスクにおいて、どの程度の性能を示すか？
• RQ4 視覚的プロンプト（例：バウンディングボックス）の導入が、文脈的に正確で詳細な応答を生成する能力をどの程度向上させるか？
• RQ5 GranDのような大規模で多様なデータセットで事前学習されたモデルは、複数の根拠のあるビジョン・ランゲージタスクにおいて、ゼロショットおよびフェイントショット設定に効果的に一般化できるか？

主な発見

• ファインチューニング後、GLaMMはrefCOCOgテストセットで16.2のMETEORおよび106.0のCIDErを達成し、GRiT や GPT4RoI といった先行モデルを上回る、参照表現セグメンテーション分野における最先端の性能を示した。
• 領域レベルのキャプション生成において、GLaMMはNoCapデータセットで18.8のSPICEおよび95.3のCIDErを達成し、強力なゼロショットおよびファインチューニング性能を示した。
• ゼロショット画像キャプション生成において、GLaMMはFlickr30kで106.8のCIDErおよび15.8のSPICEを記録し、BLIP-2 や InstructBLIP といった最近のモデルを上回った。
• モデルは、参照表現セグメンテーション、画像キャプション、根拠のある会話といったタスク全体にわたり、強力な一般化性能を示しており、定性的な結果から、物体、部分、属性、関係性の正確な根拠付けがなされていることが確認された。
• GranDデータセットには、セグメンテーションマスクが付与された81000万の領域と750万の固有の概念が含まれており、これは現在知られている最大規模の密度的で多様な粒度の視覚的根拠付きビジョン・ランゲージデータセットである。
• GPT-4を用いて既存のデータセットから抽出された洗練されたGranD fデータセットは、根拠のある会話生成のための高品質なファインチューニングを可能にし、この新しいタスクにおけるモデル性能を顕著に向上させた。

Figure 2 : GLaMM’s architecture. The figure illustrates our model architecture, showcasing its ability to offer scene-level understanding, region-level interpretation, and pixel-level grounding. Top: The core components of GLaMM, including the global image encoder, region encoder, LLM, grounding ima