[论文解读] Enabling Training-Free Text-Based Remote Sensing Segmentation

Jose Sosa, Danila Rukhovich+2 more|arXiv (Cornell University)|Feb 19, 2026

Multimodal Machine Learning Applications被引用 0

一句话总结

论文介绍了两条无需训练的流程，将预训练的视觉-语言模型与 SAM 相结合，以实现开放词汇、指示和推理基础的遥感分割，获得了最先进的零-shot 结果，并为复杂提示提供了轻量级的 LoRA 调整改进。

ABSTRACT

Recent advances in Vision Language Models (VLMs) and Vision Foundation Models (VFMs) have opened new opportunities for zero-shot text-guided segmentation of remote sensing imagery. However, most existing approaches still rely on additional trainable components, limiting their generalisation and practical applicability. In this work, we investigate to what extent text-based remote sensing segmentation can be achieved without additional training, by relying solely on existing foundation models. We propose a simple yet effective approach that integrates contrastive and generative VLMs with the Segment Anything Model (SAM), enabling a fully training-free or lightweight LoRA-tuned pipeline. Our contrastive approach employs CLIP as mask selector for SAM's grid-based proposals, achieving state-of-the-art open-vocabulary semantic segmentation (OVSS) in a completely zero-shot setting. In parallel, our generative approach enables reasoning and referring segmentation by generating click prompts for SAM using GPT-5 in a zero-shot setting and a LoRA-tuned Qwen-VL model, with the latter yielding the best results. Extensive experiments across 19 remote sensing benchmarks, including open-vocabulary, referring, and reasoning-based tasks, demonstrate the strong capabilities of our approach. Code will be released at https://github.com/josesosajs/trainfree-rs-segmentation.

研究动机与目标

• 在仅利用预训练的基础模型的前提下，探究文本式遥感分割能达到的极限有多大。
• 提出两条将对比式与生成式视觉语言模型（VLM）与 SAM 集成的流水线，以在无训练设置中覆盖 OVSS、指示和推理分割。
• 在广泛的遥感基准数据集上评估零-shot 与轻量级 LoRA 调整性能。
• 证明完全无训练的对比式 VLM + SAM 方法可达到 OVSS 的最前沿结果，以及 LoRA 调整的生成式 VLM + SAM 流水线在指示和推理分割方面达到 SOTA。

提出的方法

• 对比式 VLM（如 CLIP）作为 SAM 网格化提议的掩模选择器，以实现完全无训练的开放词汇语义分割（OVSS）。
• 生成式 VLM（如 GPT-5、Qwen-VL）为 SAM 生成空间提示（点击）以执行指示和推理分割；可为零-shot 或在 SAM 保持冻结的情况下进行 LoRA 微调。
• 零-shot 推理使用 CLIP + SAM；为提升性能，训练一个 LoRA 调整的 Qwen-VL 主干以输出提示，同时保持 SAM 冻结。
• 生成式 VLM 提示数据通过将真实掩模转换为点击序列来合成，采用迭代式、与交互式分割灵感相关的过程。
• 对于生成式 VLM 流线，文本提示方案表达对 SAM 的正/负点击，以在复杂提示下实现灵活分割。
• 消融实验表明 SAM 尺度与网格密度（29×29 网格）在精度与计算之间达到最佳折衷。

Figure 2 : Inference schemes of our segmentation approaches with (a) contrastive and (b) generative VLMs.

实验结果

研究问题

• RQ1 在除了现有基础模型之外，是否无需任何额外可训练组件即可实现文本式遥感分割的极限？
• RQ2 对比式 VLM + SAM 流线是否能在遥感数据上实现最前沿的零-shot 开放词汇分割？
• RQ3 生成式 VLM + SAM 流线是否能处理指示和推理分割，且在保持 SAM 冻结的同时通过轻量级 LoRA 微调提升性能？
• RQ4 在多样的 RS 数据集中，哪些实际的设计选择（SAM 尺度、网格密度、点击次数）可最大化性能？

主要发现

方法	OEM	LoveDA	iSAID	Potsdam	Vaihingen	UAVid	UDD5	VDD	平均值
SegEarth-OV [33]	40.3	36.9	21.7	48.5	40.0	42.5	50.6	45.3	39.2
Oracle	64.4	50.0	36.2	74.3	61.2	59.7	56.5	62.9	58.2
CLIP [50]	12.0	12.4	7.5	15.6	10.8	10.9	9.5	14.2	11.4
MaskCLIP [87]	25.1	27.8	14.5	33.9	29.9	28.6	32.4	32.9	27.2
SCLIP [64]	29.3	30.4	16.1	39.6	35.9	31.4	38.7	37.9	31.1
GEM [7]	33.9	31.6	17.7	39.1	36.4	33.4	41.2	39.5	32.3
ClearCLIP [29]	31.0	32.4	18.2	42.0	36.2	36.2	41.8	39.3	33.4
Ours	34.2	38.2	21.9	50.2	40.6	44.3	53.8	46.8	41.3

• 基于对比式 VLM 的流水线在 19 个 RS 基准上实现零-shot 的 OVSS 最前沿，优于大多数数据集上的零-shot 基线和 SegEarth-OV。
• 在 9 个单类数据集上，对比方法提供具有竞争力的零-shot 性能，并在若干建筑/道路/洪水任务上超越 SegEarth-OV。
• 生成式 VLM 流线在零-shot 形式下对指示和推理任务提供合理性能，且 LoRA 微调并保持 SAM 冻结在 RRSIS-D（指示）和 EarthReason（推理）上达到最先进的结果。
• 消融结果显示更大规模的 SAM（SAM-Large）与 29×29 网格可提供最佳性能；对生成式 VLM 的六次训练内点击显著提升结果。
• 与特定任务训练相比，所提的无训练方法在多样的 RS 模态与地理区域上展现出强健的泛化能力。

Figure 3 : Qualitative results of the training-free contrastive VLM pipeline on multi-class (first and second rows) and single-class (third row) OVSS tasks using remote sensing datasets.