[論文レビュー] LISA++: An Improved Baseline for Reasoning Segmentation with Large Language Model

Senqiao Yang, Tianyuan Qu+5 more|arXiv (Cornell University)|Dec 28, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

LISA++ は、アーキテクチャの変更を加えずに、インスタンスセグメンテーションと自然なセグメント化された対話機能を LISA モデルに追加することで向上させた。COCO および ADE20K からのキュレート済みデータを用いて、推論セグメンテーションと対話の柔軟性を向上させた。マルチターン対話およびインスタンスレベルの理解において優れたパフォーマンスを達成し、マスクを埋め込みとして使用するパラダイムのスケーラビリティを示した。

ABSTRACT

While LISA effectively bridges the gap between segmentation and large language models to enable reasoning segmentation, it poses certain limitations: unable to distinguish different instances of the target region, and constrained by the pre-defined textual response formats. In this work, we introduce LISA++, an update to the existing LISA model, focusing on improving core functionalities while keeping the base architecture intact. The main enhancements in LISA++ include: extbf{1) Enhanced Segmentation}: The instance segmentation ability has been added, providing a more detailed scene analysis along with the existing multi-region semantic segmentation. extbf{2) More Natural Conversation}: Improved capability for multi-turn dialogue, with the ability to incorporate segmentation results directly into text responses, i.e., Segmentation in Dialogue (SiD). These improvements are achieved by curating the existing samples of generic segmentation datasets, aimed specifically at enhancing the segmentation and conversational skills without structural change and additional data sources. Comparative analysis with the original LISA model shows significant advancements in these areas, positioning LISA++ as a notable upgrade in visual understanding and interaction. LISA++'s adaptability and improved features highlight the versatility of the mask-as-embedding paradigm proposed by LISA, and the potential as a foundational model for diverse applications.

研究の動機と目的

• LISA が同じカテゴリのインスタンスを区別できないことや、応答フォーマットが硬直的であるという限界を解消すること。
• セグメンテーション出力を統合した自然で柔軟かつ文脈に即したマルチモーダル対話を可能にすること。
• マスクを埋め込みとして使用するパラダイムをインスタンスセグメンテーションおよび対話統合型応答に対応させるように拡張すること。
• 推論インスタンスセグメンテーションおよびセグメンテーション対話（SiD）のための包括的なベンチマークを開発すること。
• アーキテクチャの単純さを維持しつつ、推論および相互作用能力を著しく向上させること。

提案手法

• COCO および ADE20K からインスタンスレベルのクエリと応答を含むように、指令チューニングデータを再構築すること。
• マルチターン対話が生成されるようにプロンプトを設計し、セグメンテーション結果を自然言語の応答に埋め込む（SiD）。
• 複数ターゲットのインスタンスセグメンテーションにおける推論を評価するための新しいベンチマーク、ReasonSeg-Inst を作成すること。
• アノテーションへの直接的な言及を避けるように、質問と回答のペairを定式化し、オブジェクトの性質や関係に焦点を当てる。
• LISA と同一のベースアーキテクチャを用い、マスクを埋め込みとして使用するメカニズムを保持しつつ、細分化された推論を強化すること。
• 応答に明示的にインスタンスIDとラベル名（例：'keyboards <34494; keyboard><31264; keyboard>'）を含めることで、正確なセグメンテーションの根拠付けを可能にすること。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、マスクを埋め込みとして使用するパラダイムをインスタンスセグメンテーションに拡張できるか？
• RQ2 セグメンテーション結果をどのように自然にマルチターン対話に統合することで、会話のなめらかさと正確性が向上するか？
• RQ3 キュレート済みのセグメンテーションデータに対する指令チューニングは、LLM における推論およびインスタンスレベルの理解をどの程度向上させるか？
• RQ4 統一されたフレームワークは、一貫性があり柔軟な対話出力を伴いながら、セマンティックセグメンテーションとインスタンスセグメンテーションの両方をサポートできるか？
• RQ5 LISA++ は、多様な視覚的推論タスクにおいて、LISA と比較して会話の自然さとセグメンテーションの正確性の両面でどの程度優れているか？

主な発見

• LISA++ は、ベースアーキテクチャを変更せずに LISA にインスタンスセグメンテーション機能を追加することに成功した。
• モデルは、同じカテゴリの複数のインスタンス（例：異なる人物や物体）を会話の中で区別し、参照する能力が向上した。
• セグメンテーション対話（SiD）により、セグメンテーション結果を応答に直接埋め込むことで、より自然で文脈に即した柔軟な会話が可能になった。
• アップデートされた ReasonSeg-Inst ベンチマークにより、単一ターゲット評価を超えた包括的なマルチターゲット推論セグメンテーションの評価が可能になった。
• LISA++ は、元の LISA モデルと比較して、セグメンテーションの正確性および会話のなめらかさの両面で顕著な向上を達成した。
• マスクを埋め込みとして使用するパラダイムは、複雑な視覚的推論タスクにおいてスケーラブルで効果的であることが実証され、将来の基盤的マルチモーダルモデル開発に貢献するものである。