[論文レビュー] CPSeg: Finer-grained Image Semantic Segmentation via Chain-of-Thought Language Prompting

Lei Li|arXiv (Cornell University)|Oct 24, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

CPSegは、リモートセンシング、特に洪水シナリオにおけるより細分化されたセマンティックセグメンテーションのための、新しいチェーン・オブ・チョイス言語プロンプティングフレームワークを提案する。テキスト記述を段階的に処理することでピクセル単位の分類を向上させる。FloodPromptデータセットにおいてベースライン手法よりも5.46% mIoUの向上を達成し、視覚言語モデルを用いた構造的で認知にインspiredされた推論により、優れた正確性と効率性を示している。

ABSTRACT

Natural scene analysis and remote sensing imagery offer immense potential for advancements in large-scale language-guided context-aware data utilization. This potential is particularly significant for enhancing performance in downstream tasks such as object detection and segmentation with designed language prompting. In light of this, we introduce the CPSeg, Chain-of-Thought Language Prompting for Finer-grained Semantic Segmentation), an innovative framework designed to augment image segmentation performance by integrating a novel "Chain-of-Thought" process that harnesses textual information associated with images. This groundbreaking approach has been applied to a flood disaster scenario. CPSeg encodes prompt texts derived from various sentences to formulate a coherent chain-of-thought. We propose a new vision-language dataset, FloodPrompt, which includes images, semantic masks, and corresponding text information. This not only strengthens the semantic understanding of the scenario but also aids in the key task of semantic segmentation through an interplay of pixel and text matching maps. Our qualitative and quantitative analyses validate the effectiveness of CPSeg.

研究の動機と目的

• 複雑なリモートセンシング画像、特に洪水災害シナリオにおける細分化されたセマンティックセグメンテーションの課題に対処すること。
• チェーン・オブ・チョイスプロンプティングを活用して、人間の順序的推論を視覚言語セグメンテーションモデルに統合すること。
• 訓練および評価のための詳細な画像-テキストアノテーションを備えた新しいビジョン・ランゲージデータセットFloodPromptを構築すること。
• 構造的な推論プロセスを通じて、複数文のテキストプロンプトと視覚的特徴を統合することで、セグメンテーションのパフォーマンスを向上させること。
• チェーン・オブ・チョイスプロンプティングが、セマンティックセグメンテーションにおける正確性と計算効率の両面でどのように向上するかを実証すること。

提案手法

• フレームワークは、複数の自然言語プロンプトを用いて、画像理解を段階的かつ論理的な推論ステップに分解するチェーン・オブ・チョイスプロセスを採用する。
• 多様な文から導出されたテキストプロンプトはテキストエンコーダーで符号化され、クロスアテンションメカニズムを介して視覚的特徴と統合される。
• 1024×1024のリモートセンシング画像、セマンティックマスク、および対応する記述的プロンプトを備えた、新しいビジョン・ランゲージデータセットFloodPromptが構築された。細分化されたクラス（例：洪水済み vs. 非洪水済みの建物や道路）を対象としている。
• モデルは視覚言語バックボーン（CLIPをインspired）を用い、段階的なプロンプティングにより、段階的なテキスト監視を通じてセグメンテーション予測を改善する。
• クラス固有の記述と空間的文脈記述を含む複数のプロンプトタイプを組み合わせることで、明示的および暗黙的学習を統合する。
• FLOPsとパラメータを最適化することで計算効率を維持し、A100 GPU上で42.85 FPSの推論速度を達成した。

実験結果

リサーチクエスチョン

• RQ1 チェーン・オブ・チョイス言語プロンプティングは、リモートセンシング画像における細分化されたセマンティックセグメンテーションの正確性を向上させることができるか？
• RQ2 一括プロンプトまたはベースライン手法と比較して、順序的で複数文のテキストプロンプトの統合は、セグメンテーションパフォーマンスにどのように影響するか？
• RQ3 構造的な推論プロセスを備えたビジョン・ランゲージモデルは、災害シナリオにおける異なるセマンティッククラスにどの程度一般化できるか？
• RQ4 提案されたフレームワークは、セグメンテーションの正確性を向上させながらも、高い効率性を維持できるか？
• RQ5 チェーン・オブ・チョイスプロセスにおける暗黙的学習を通じて、組み合わせたセマンティックラベル（例：洪水済みおよび非洪水済みクラスの組み合わせ）に一般化できるか？

主な発見

• CPSegは、統合されたFloodPromptデータセットでmIoUが87.89を達成し、元のデータ（82.43 mIoU）と比較して5.46%の向上を示した。
• モデルはNVIDIA A100 GPU上で42.85 FPSの高い推論速度を維持しており、FLOPs（1037.4 vs. 1043.1）およびパラメータ（100.8G vs. 105.3G）の両面でベースラインのDenseCLIPを上回った。
• アブレーションスタディの結果、チェーン・オブ・チョイス推論プロセスおよびテキストエンコーダーの両方がパフォーマンス向上に不可欠であることが確認され、いずれかのコンponentを除去するとmIoUが著しく低下した。
• フレームワークは、洪水済みおよび非洪水済みクラスの組み合わせといった組み合わせたセマンティックラベルに対しても成功裏に一般化でき、プロンプトチェーンにおける暗黙的学習による頑健性を示した。
• 本手法は、空間的およびセマンティック的文脈が重要な複雑なシナリオ（例：洪水災害）における細分化セグメンテーションタスクにおいて、強力なパフォーマンスを示した。
• 結果は、言語プロンプティングによる構造的で認知にインspiredされた推論が、リモートセンシングセグメンテーションにおけるビジョン・ランゲージモデルのパフォーマンスを顕著に向上させることを検証した。