[论文解读] MMNet: Multi-Mask Network for Referring Image Segmentation

Yichen Yan, Xingjian He+2 more|arXiv (Cornell University)|May 24, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

MMNet 提出了一种多掩码网络，通过利用 CLIP 的全局和细粒度特征，从指代表达的不同查询理解中生成多个分割掩码，从而减少歧义。通过学习加权融合这些掩码，该方法在 RefCOCO、RefCOCO+ 和 G-Ref 上实现了无需后处理的最先进性能。

ABSTRACT

Referring image segmentation aims to segment an object referred to by natural language expression from an image. However, this task is challenging due to the distinct data properties between text and image, and the randomness introduced by diverse objects and unrestricted language expression. Most of previous work focus on improving cross-modal feature fusion while not fully addressing the inherent uncertainty caused by diverse objects and unrestricted language. To tackle these problems, we propose an end-to-end Multi-Mask Network for referring image segmentation(MMNet). we first combine picture and language and then employ an attention mechanism to generate multiple queries that represent different aspects of the language expression. We then utilize these queries to produce a series of corresponding segmentation masks, assigning a score to each mask that reflects its importance. The final result is obtained through the weighted sum of all masks, which greatly reduces the randomness of the language expression. Our proposed framework demonstrates superior performance compared to state-of-the-art approaches on the two most commonly used datasets, RefCOCO, RefCOCO+ and G-Ref, without the need for any post-processing. This further validates the efficacy of our proposed framework.

研究动机与目标

• 解决由于对象多样性与语言表达无约束性导致的指代图像分割中的固有随机性。
• 克服先前方法依赖单一特征融合且无法建模语言语义歧义的局限性。
• 利用 CLIP 的预训练视觉-语言表征，增强跨模态对齐与特征丰富性。
• 通过生成并聚合多个掩码（每个对应语言查询的一种不同解释）来提升分割鲁棒性。
• 在标准基准上实现无需后处理的最先进性能。

提出的方法

• 利用 CLIP 提取全局视觉特征（$f_{vg}$）和细粒度视觉特征（$f_{vd}$），以增强图像表征。
• 使用多查询估计器（$f_{vg}$）从语言表达中生成多个查询，每个查询捕捉文本的不同语义方面。
• 针对每个查询，通过多掩码投影器生成对应的分割掩码，实现对同一表达的多种语义解释。
• 通过可学习的注意力机制为每个掩码分配一个得分，以反映其相关性与置信度。
• 通过加权求和的方式融合所有掩码，其中得分决定每个掩码对最终输出的贡献。
• 端到端训练整个网络，使用真实掩码的交叉熵损失，无需任何后处理。

实验结果

研究问题

• RQ1 从指代表达的不同理解中生成多个掩码是否能减少歧义并提高分割准确率？
• RQ2 CLIP 的全局与细粒度视觉特征提取在增强指代图像分割方面有多有效？
• RQ3 对多个掩码进行加权聚合是否优于单掩码生成，以应对语言的随机性？
• RQ4 多查询估计器与多掩码投影器组件对整体性能的贡献是什么？
• RQ5 所提出的方法是否能在标准基准上实现无需后处理的最先进结果？

主要发现

• MMNet 在 RefCOCO+ 测试集 A 上达到 68.14 的 IoU，超越了所有先前最先进方法，且无需任何后处理。
• 消融实验表明，移除多查询估计器会使性能下降 1.23 个百分点，证实其在掩码加权中的关键作用。
• 移除全局视觉特征（$f_{vg}$）导致 IoU 下降 1.23 分，表明 CLIP 的全局表征具有决定性作用。
• 当 $N_q = 24$ 时，多掩码投影器表现最佳，表明更高的查询多样性可提升鲁棒性。
• 可视化结果表明，MMNet 能有效区分模糊对象（如带叉与不带叉的三明治），而基线方法则不能。
• 该方法在不同数据集上泛化良好，在 RefCOCO、RefCOCO+ 和 G-Ref 上均取得新的最先进结果，验证了其有效性与鲁棒性。