[论文解读] Correlation Maximized Structural Similarity Loss for Semantic Segmentation

Shuai Zhao, Boxi Wu+3 more|arXiv (Cornell University)|Oct 19, 2019

Advanced Neural Network Applications参考文献 48被引用 15

一句话总结

本文提出了一种新颖的互相关最大化结构相似性损失（SSL），用于语义分割，通过显式建模像素级结构依赖关系来提升模型性能。受SSIM指数的启发，SSL通过计算真实分割图与预测分割图之间区域的线性相关性来量化结构相似性，并重新加权交叉熵损失，使模型更关注低相关性区域，从而在计算开销极小的情况下提升边界和小目标分割性能。该方法在PASCAL VOC 2012上实现了最高1.93%的mIoU提升，在Cityscapes上实现了1.39%的mIoU提升。

ABSTRACT

Most semantic segmentation models treat semantic segmentation as a pixel-wise classification task and use a pixel-wise classification error as their optimization criterions. However, the pixel-wise error ignores the strong dependencies among the pixels in an image, which limits the performance of the model. Several ways to incorporate the structure information of the objects have been investigated, \eg, conditional random fields (CRF), image structure priors based methods, and generative adversarial network (GAN). Nevertheless, these methods usually require extra model branches or additional memories, and some of them show limited improvements. In contrast, we propose a simple yet effective structural similarity loss (SSL) to encode the structure information of the objects, which only requires a few additional computational resources in the training phase. Inspired by the widely-used structural similarity (SSIM) index in image quality assessment, we use the linear correlation between two images to quantify their structural similarity. And the goal of the proposed SSL is to pay more attention to the positions, whose associated predictions lead to a low degree of linear correlation between two corresponding regions in the ground truth map and the predicted map. Thus the model can achieve a strong structural similarity between the two maps through minimizing the SSL over the whole map. The experimental results demonstrate that our method can achieve substantial and consistent improvements in performance on the PASCAL VOC 2012 and Cityscapes datasets. The code will be released soon.

研究动机与目标

• 解决标准像素级交叉熵损失在语义分割中的局限性，即忽略像素之间的空间依赖关系。
• 克服现有结构感知方法（如CRF、亲和力场和GAN）的缺点，这些方法计算成本高或性能增益有限。
• 开发一种简单而有效的损失函数，在不增加额外模型分支或推理时间开销的前提下，增强预测结果的结构一致性。
• 在多种数据集和网络架构上实现一致的性能提升，同时在训练过程中保持极低的计算成本。

提出的方法

• 提出一种结构相似性损失（SSL），用于量化真实分割图与预测分割图中对应区域之间的线性相关性。
• 通过计算归一化后的真实区域与预测区域之间的偏差来衡量结构差异，并据此度量其线性相关程度。
• 根据结构差异的大小重新加权标准交叉熵损失，使模型更关注相关性较低的区域。
• 通过丢弃结构差异较小的像素，采用在线难例挖掘策略以提升训练效率。
• 将SSL作为即插即用的损失函数集成到训练过程中，仅需少量修改且额外计算开销可忽略不计。
• 使用标准深度学习主干网络（如DeepLabv3）结合SSL，同时优化像素级准确率与结构一致性。

实验结果

研究问题

• RQ1 是否能够通过一种简单且可微的损失函数，在不增加模型复杂度的前提下，有效建模语义分割中的结构依赖关系？
• RQ2 在真实分割图与预测图之间引入线性相关性，是否能有效提升在具有挑战性的目标边界和小结构上的分割性能？
• RQ3 与CRF、亲和力场和GAN等现有结构感知方法相比，所提出的SSL在mIoU提升和计算效率方面是否更具优势？
• RQ4 SSL是否能在不同网络架构和数据集上实现一致的性能增益，具备良好的通用性？
• RQ5 在SSL中计算结构相似性的最优区域尺寸是多少？该尺寸对性能有何影响？

主要发现

• 与标准交叉熵损失相比，所提出的SSL在PASCAL VOC 2012验证集上实现了1.93%的mIoU提升，优于CRF和亲和力场损失。
• 在Cityscapes数据集上，使用DeepLabv3时，SSL相比基线交叉熵损失实现了1.39%的mIoU提升，且在所有类别上均保持一致增益。
• 与基于GAN的方法（如Luc等人[27]）相比，SSL仅获得0.25%的mIoU增益，但效率和稳定性显著更高。
• 当区域尺寸为3时，SSL在PASCAL VOC 2012上达到最高的mIoU 76.76%，表明该设置在局部细节与结构一致性之间实现了最佳平衡。
• 该方法无需额外的推理时间或内存开销，适用于实时和资源受限的应用场景。
• 逐类分析显示，对小尺寸或低对比度目标（如马腿、被号码遮挡的区域）有显著改进，证实了模型结构感知能力的增强。