[论文解读] AttrSeg: Open-Vocabulary Semantic Segmentation via Attribute Decomposition-Aggregation

Chaofan Ma, Yuhuan Yang+4 more|arXiv (Cornell University)|Aug 31, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

本文提出 AttrSeg，一种新颖的开放词汇语义分割框架，通过将模糊或新类别名称分解为多样化的属性描述，并分层聚合，以提升在现实世界文本不完美情况下的分割性能。该方法通过属性级别推理，在开放词汇基准上实现了最先进性能，展现出对不完整、不准确或未见过的类别名称的鲁棒性。

ABSTRACT

Open-vocabulary semantic segmentation is a challenging task that requires segmenting novel object categories at inference time. Recent studies have explored vision-language pre-training to handle this task, but suffer from unrealistic assumptions in practical scenarios, i.e., low-quality textual category names. For example, this paradigm assumes that new textual categories will be accurately and completely provided, and exist in lexicons during pre-training. However, exceptions often happen when encountering ambiguity for brief or incomplete names, new words that are not present in the pre-trained lexicons, and difficult-to-describe categories for users. To address these issues, this work proposes a novel attribute decomposition-aggregation framework, AttrSeg, inspired by human cognition in understanding new concepts. Specifically, in the decomposition stage, we decouple class names into diverse attribute descriptions to complement semantic contexts from multiple perspectives. Two attribute construction strategies are designed: using large language models for common categories, and involving manually labeling for human-invented categories. In the aggregation stage, we group diverse attributes into an integrated global description, to form a discriminative classifier that distinguishes the target object from others. One hierarchical aggregation architecture is further proposed to achieve multi-level aggregations, leveraging the meticulously designed clustering module. The final results are obtained by computing the similarity between aggregated attributes and images embeddings. To evaluate the effectiveness, we annotate three types of datasets with attribute descriptions, and conduct extensive experiments and ablation studies. The results show the superior performance of attribute decomposition-aggregation.

研究动机与目标

• 解决现有开放词汇语义分割方法在推理时假设文本类别名称完美、嵌入词典且完整的局限性。
• 应对实际视觉应用中词汇歧义、新造词以及无法命名或难以描述类别的现实挑战。
• 构建一种框架，通过将类别分解为多个属性并聚合为统一、判别性表征，模拟人类认知理解。
• 通过分层聚合与过滤机制，在训练和推理阶段提升模型对噪声或错误属性的鲁棒性。

提出的方法

• 使用两种策略将普通类别名称分解为多样化的属性描述：对常见类别使用大语言模型，对人工发明或罕见类别进行人工标注。
• 构建分层聚合架构，通过聚类模块在多个阶段对属性进行分组，形成全局、判别性类别表征。
• 计算聚合属性表征与图像嵌入之间的相似度，生成分割掩码。
• 在推理阶段集成基于视觉-语言模型（VLM）的过滤策略，以抑制无关或错误的属性。
• 通过每类随机采样属性进行训练，增强对不完整或不准确属性输入的鲁棒性。
• 采用多级聚合流水线，逐步合并属性，消融实验表明四阶段聚合性能最优。

实验结果

研究问题

• RQ1 属性分解是否能在类别描述模糊或不完整时提升开放词汇语义分割性能？
• RQ2 多样化属性的分层聚合如何增强模型对未见或新造类别的泛化能力与鲁棒性？
• RQ3 当推理阶段输入存在噪声、错误或不准确属性时，模型性能能维持到何种程度？
• RQ4 在开放词汇设置下，属性多样性（如颜色、形状、部件、其他）对分割性能有何影响？
• RQ5 属性数量与聚合阶段数量如何影响最终分割准确率与鲁棒性？

主要发现

• AttrSeg 在 COCO-OVSS 基准上使用完整属性输入时，mIoU 达到 59.5，优于先前方法，在真实开放词汇条件下表现最先进。
• 当属性数量从 15 降至 5 时，模型仍保持强鲁棒性，mIoU 仅从 59.5 降至 55.1，表明对不完整描述具有抗性。
• 四阶段聚合性能最优；增加至五阶段时，低属性设置下 mIoU 下降，表明过度聚合会损害性能。
• 模型对错误属性具有容忍性（如对趴着的狗使用 'four-legged' 属性），在训练中包含此类属性时，mIoU 达 59.1。
• 错误属性（如对 'dog' 使用 'red'）显著降低性能（mIoU 降至 55.4），但 VLM 过滤策略可将性能恢复至 58.9 mIoU，证明其有效性。
• 属性多样性贡献显著：结合颜色、形状、部件及其他属性，mIoU 从仅颜色的 30.8 提升至全部属性的 52.3，凸显多视角描述的价值。