[论文解读] CoupAlign: Coupling Word-Pixel with Sentence-Mask Alignments for Referring Image Segmentation

Zicheng Zhang, Yi Zhu+3 more|arXiv (Cornell University)|Dec 4, 2022

Multimodal Machine Learning Applications被引用 16

一句话总结

CoupAlign 提出了一种新颖的多层级视觉-语义对齐框架，用于指代图像分割，通过将词元-像素对齐与句子-掩码对齐相结合，以强制实施对象掩码约束，从而提升定位精度。通过在中间编码器层引入双向交叉注意力机制，并利用由句子嵌入引导的加权掩码提议，CoupAlign 在 RefCOCO 数据集上相较 SOTA 方法实现了 2% 的 oIoU 相对提升，尤其在区分多个相似对象中的目标对象时表现优异。

ABSTRACT

Referring image segmentation aims at localizing all pixels of the visual objects described by a natural language sentence. Previous works learn to straightforwardly align the sentence embedding and pixel-level embedding for highlighting the referred objects, but ignore the semantic consistency of pixels within the same object, leading to incomplete masks and localization errors in predictions. To tackle this problem, we propose CoupAlign, a simple yet effective multi-level visual-semantic alignment method, to couple sentence-mask alignment with word-pixel alignment to enforce object mask constraint for achieving more accurate localization and segmentation. Specifically, the Word-Pixel Alignment (WPA) module performs early fusion of linguistic and pixel-level features in intermediate layers of the vision and language encoders. Based on the word-pixel aligned embedding, a set of mask proposals are generated to hypothesize possible objects. Then in the Sentence-Mask Alignment (SMA) module, the masks are weighted by the sentence embedding to localize the referred object, and finally projected back to aggregate the pixels for the target. To further enhance the learning of the two alignment modules, an auxiliary loss is designed to contrast the foreground and background pixels. By hierarchically aligning pixels and masks with linguistic features, our CoupAlign captures the pixel coherence at both visual and semantic levels, thus generating more accurate predictions. Extensive experiments on popular datasets (e.g., RefCOCO and G-Ref) show that our method achieves consistent improvements over state-of-the-art methods, e.g., about 2% oIoU increase on the validation and testing set of RefCOCO. Especially, CoupAlign has remarkable ability in distinguishing the target from multiple objects of the same class.

研究动机与目标

• 为解决因忽略对象内部像素一致性而导致的掩码不完整与定位错误问题。
• 通过在细粒度（词元-像素）与粗粒度（句子-掩码）两个层次上显式强制实施对象掩码约束，提升跨模态对齐效果。
• 提升模型在区分同一类别多个实例（如人群中的个体）时的鲁棒性。
• 设计一种分层对齐机制，以捕捉目标对象像素间在视觉与语义上的一致性。

提出的方法

• 引入词元-像素对齐（WPA）模块，通过中间视觉与语言特征之间的双向交叉注意力实现早期特征融合。
• 从词元-像素对齐特征生成多个掩码提议，以表示图像中潜在的对象。
• 采用句子-掩码对齐（SMA）模块，利用句子嵌入对掩码提议进行加权，以定位被指代的对象。
• 将加权掩码投影回以聚合目标像素，提供一种掩码约束，从而优化词元-像素对齐结果。
• 设计辅助对比损失，以更好地区分前景与背景像素，增强词元-像素与句子-掩码两个层次的对齐效果。
• 采用分层训练策略，交替优化 WPA 与 SMA 模块，逐步提升预测精度。

实验结果

研究问题

• RQ1 将词元-像素对齐与句子-掩码对齐相结合，能否提升指代图像分割中的掩码精度并减少定位错误？
• RQ2 通过多层级对齐强制实施对象掩码约束，是否能提升在存在多个相似对象的复杂场景中的泛化能力？
• RQ3 与晚期融合相比，通过 WPA 实现的早期跨模态交互在性能与鲁棒性方面表现如何？
• RQ4 辅助对比损失在多大程度上提升了对齐质量与最终分割性能？
• RQ5 所提出的方法能否在 RefCOCO 与 G-Ref 等标准基准上超越当前最先进模型？

主要发现

• CoupAlign 在 RefCOCO 验证集与测试集上相较先前 SOTA 方法实现了 2% 的 oIoU 绝对提升。
• 当移除 WPA 模块时，oIoU 显著下降 4.3%（从 74.70% 降至 70.43%），证明其关键作用。
• 将双向 WPA 替换为单向注意力会使 oIoU 下降 2%（74.70% 降至 72.70%），证实对称交叉注意力的优势。
• SMA 模块贡献显著，当其被移除时 oIoU 下降 1.7%（74.70% 降至 73.02%），表明其在掩码约束学习中的有效性。
• 当禁用辅助对比损失时，oIoU 下降 1%（74.70% 降至 73.70%），证明其在提升像素级对齐方面的价值。
• 位于最后编码器阶段（第 4 阶段）的 WPA 模块最为有效，当移除最后两个 WPA 模块时性能下降 2%。