[论文解读] CPSeg: Finer-grained Image Semantic Segmentation via Chain-of-Thought Language Prompting

Lei Li|arXiv (Cornell University)|Oct 24, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

CPSeg 提出了一种新颖的思维链语言提示框架，用于遥感图像中更细粒度的语义分割，特别是在洪水场景下，通过迭代处理文本描述来提升像素级分类性能。在 FloodPrompt 数据集上，其 mIoU 相较基线方法提升了 5.46%，通过受认知启发的结构化推理与视觉-语言模型结合，展现出更优的准确率与效率。

ABSTRACT

Natural scene analysis and remote sensing imagery offer immense potential for advancements in large-scale language-guided context-aware data utilization. This potential is particularly significant for enhancing performance in downstream tasks such as object detection and segmentation with designed language prompting. In light of this, we introduce the CPSeg, Chain-of-Thought Language Prompting for Finer-grained Semantic Segmentation), an innovative framework designed to augment image segmentation performance by integrating a novel "Chain-of-Thought" process that harnesses textual information associated with images. This groundbreaking approach has been applied to a flood disaster scenario. CPSeg encodes prompt texts derived from various sentences to formulate a coherent chain-of-thought. We propose a new vision-language dataset, FloodPrompt, which includes images, semantic masks, and corresponding text information. This not only strengthens the semantic understanding of the scenario but also aids in the key task of semantic segmentation through an interplay of pixel and text matching maps. Our qualitative and quantitative analyses validate the effectiveness of CPSeg.

研究动机与目标

• 为解决复杂遥感图像中细粒度语义分割的挑战，特别是洪水灾害场景下的问题。
• 通过思维链提示方法，将类人般的顺序推理整合到视觉-语言分割模型中。
• 构建一个新的视觉-语言数据集 FloodPrompt，包含详细的图像-文本标注，用于模型训练与评估。
• 通过结构化推理过程，将多句文本提示与视觉特征结合，提升分割性能。
• 验证思维链提示在提升语义分割任务准确率与计算效率方面的有效性。

提出的方法

• 该框架采用思维链过程，将图像理解分解为一系列使用多条自然语言提示的逻辑推理步骤。
• 从多样化句子中提取的文本提示经由文本编码器编码，并通过交叉注意力机制与视觉特征融合。
• 构建了一个新的视觉-语言数据集 FloodPrompt，包含 1024×1024 的遥感图像、语义掩码以及对应描述性提示，用于细粒度类别（如被淹与未被淹的建筑物和道路）的识别。
• 模型采用视觉-语言主干网络（受 CLIP 启发），并通过迭代提示机制，利用逐步的文本监督优化分割预测。
• 通过结合多种提示类型（如类别特定提示与空间上下文描述提示），实现显式与隐式学习的融合。
• 通过优化 FLOPs 与参数量，保持计算效率，在 A100 GPU 上实现 42.85 FPS 的推理速度。

实验结果

研究问题

• RQ1 思维链语言提示能否提升遥感图像中细粒度语义分割的准确率？
• RQ2 与单提示或基线方法相比，顺序性多句文本提示的整合对分割性能有何影响？
• RQ3 具备结构化推理过程的视觉-语言模型在灾害场景下对不同语义类别的泛化能力如何？
• RQ4 所提出的框架在提升分割准确率的同时是否仍保持高效率？
• RQ5 通过思维链过程中的隐式学习，模型能否实现对组合语义标签（如被淹与未被淹类别）的有效泛化？

主要发现

• CPSeg 在 FloodPrompt 数据集的组合测试集上达到 87.89 的 mIoU，相较原始数据集（82.43 mIoU）提升了 5.46%。
• 模型在 NVIDIA A100 GPU 上保持高达 42.85 FPS 的推理速度，其 FLOPs（1037.4）与参数量（100.8G）均优于基线模型 DenseCLIP（FLOPs：1043.1，参数量：105.3G）。
• 消融实验证实，思维链推理过程与文本编码器对性能提升均至关重要，任一组件的移除均导致 mIoU 显著下降。
• 该框架成功实现对组合语义标签（如被淹与未被淹类别的组合）的泛化，通过提示链中的隐式学习展现出强鲁棒性。
• 该方法在细粒度分割任务中表现优异，尤其在洪水灾害等复杂场景中，空间与语义上下文信息至关重要。
• 结果验证了通过语言提示实现的结构化、受认知启发的推理，能显著提升视觉-语言模型在遥感图像分割中的性能。