[论文解读] SimCon Loss with Multiple Views for Text Supervised Semantic Segmentation

Yash Patel, Yusheng Xie+3 more|arXiv (Cornell University)|Feb 7, 2023

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

本文提出 SimCon 损失，一种新颖的对比学习方法，通过利用模态内相似性来识别鲁棒的正样本，从而在文本监督的零样本语义分割中减少来自网络爬取的图像-文本对中的噪声。通过将 SimCon 与多图像视图（MV-SimCon）结合，该方法实现了最先进性能，在 PASCAL VOC、PASCAL Context 和 MSCOCO 上的 mIoU 分别提升了 +3.0%、+3.3% 和 +6.9%，并进一步通过推理时增强将性能提升至 58.7%、26.6% 和 33.3%。

ABSTRACT

Learning to segment images purely by relying on the image-text alignment from web data can lead to sub-optimal performance due to noise in the data. The noise comes from the samples where the associated text does not correlate with the image's visual content. Instead of purely relying on the alignment from the noisy data, this paper proposes a novel loss function termed SimCon, which accounts for intra-modal similarities to determine the appropriate set of positive samples to align. Further, using multiple views of the image (created synthetically) for training and combining the SimCon loss with it makes the training more robust. This version of the loss is termed MV-SimCon. The empirical results demonstrate that using the proposed loss function leads to consistent improvements on zero-shot, text supervised semantic segmentation and outperforms state-of-the-art by $+3.0\%$, $+3.3\%$ and $+6.9\%$ on PASCAL VOC, PASCAL Context and MSCOCO, respectively. With test time augmentations, we set a new record by improving these results further to $58.7\%$, $26.6\%$, and $33.3\%$ on PASCAL VOC, PASCAL Context, and MSCOCO, respectively. In addition, using the proposed loss function leads to robust training and faster convergence.

研究动机与目标

• 解决网络爬取数据中图像-文本对噪声导致的文本监督语义分割性能下降问题。
• 在不依赖密集标注或弱监督的情况下，提升零样本语义分割性能。
• 开发一种考虑模态内相似性的对比损失，以更好地识别超出配对图像-文本对的正样本。
• 通过图像的多个合成视图提升训练的鲁棒性和收敛速度。
• 仅使用来自网络数据的图像-文本对齐信息，实现零样本语义分割的最先进性能。

提出的方法

• 提出 SimCon 损失，通过计算模态内相似性（图像-图像和文本-文本）来定义超出配对图像-文本对的正样本。
• 使用阈值化的相似度分数为每个锚点样本选择正样本图像和文本，提升对噪声数据的鲁棒性。
• 通过在训练期间生成图像的多个合成视图，引入 MV-SimCon，对所有视图应用 SimCon 损失。
• 在相同图像的不同视图之间应用负余弦相似度（NCS）损失，以促进视觉表征的一致性。
• 联合计算各视图中的图像正样本，若样本在任一视图中相似，则视为正样本。
• 将 SimCon 损失与多视图结合，并联合应用 NCS 损失，以同时优化跨模态对齐和视图一致性。

Figure 1 : Top : In the above image-text samples, the text corresponding to the first image does not contain any information about its visual content. The text for the second image correctly describes the visual content of both the first and the second images. Bottom : If we use the InfoNCE loss, on

实验结果

研究问题

• RQ1 模态内相似性是否能改善对比学习中用于文本监督语义分割的正样本选择？
• RQ2 使用图像的多个合成视图是否能提升零样本语义分割的鲁棒性和性能？
• RQ3 MV-SimCon 与 InfoNCE 相比，在收敛速度、泛化能力和不同数据集上的性能表现如何？
• RQ4 MV-SimCon 在多大程度上降低了对网络爬取图像-文本对中噪声的敏感性？
• RQ5 MV-SimCon 是否能在无需任何密集监督或微调的情况下实现最先进结果？

主要发现

• 在零样本评估下，MV-SimCon 在 PASCAL VOC 上相比基线模型 mIoU 提升 +3.0%，在 PASCAL Context 上提升 +3.3%，在 MSCOCO 上提升 +6.9%。
• 通过推理时增强，该方法在 PASCAL VOC 上达到 58.7% 的 mIoU，PASCAL Context 上为 26.6%，MSCOCO 上为 33.3%，创下新的 SOTA 记录。
• 消融实验表明，当在多视图和 NCS 损失基础上加入联合图像正样本时，性能提升最大（mIoU 提升 2.7%）。
• 使用 MV-SimCon 训练的模型即使在较小批量和较少训练数据下，收敛速度也更快，且对数据分布偏移更具鲁棒性，优于 InfoNCE。
• 增大批量大小可提升 MV-SimCon 和基线模型的性能，但 MV-SimCon 在所有测试批量大小下均保持更优性能。
• 定性结果表明，MV-SimCon 减少了过度分割和漏检类别问题，生成的分割掩码比 InfoNCE 更准确、更完整。

Figure 2 : SimCon Overview. During training, the sampled images $I$ are passed through the GroupViT model $f_{\theta}$ , and the segment tokens are averaged and normalized to obtain the embedding $\mathbf{z}^{I}$ . The texts $T$ are passed through the text encoder $g_{\phi}$ to obtain the text embed