[论文解读] Combining the Best of Graphical Models and ConvNets for Semantic Segmentation

Michael Cogswell, Xiao Lin+2 more|arXiv (Cornell University)|Dec 14, 2014

Visual Attention and Saliency Detection参考文献 8被引用 14

一句话总结

本文提出了一种用于语义分割的双模块框架，结合图模型生成多样化、高召回率的分割提议，以及一种新型卷积神经网络（SegNet），该网络专门通过优化PASCAL平均交并比（IOU）损失进行训练。SegNet生成粗粒度的语义分割结果，随后通过网络重新排序以生成最终预测，最终在PASCAL VOC 2012测试集上达到52.5%的IOU——这是该领域的一项关键贡献，因为SegNet是首个明确为语义分割任务设计并采用结构化损失优化的CNN。

ABSTRACT

We present a two-module approach to semantic segmentation that incorporates Convolutional Networks (CNNs) and Graphical Models. Graphical models are used to generate a small (5-30) set of diverse segmentations proposals, such that this set has high recall. Since the number of required proposals is so low, we can extract fairly complex features to rank them. Our complex feature of choice is a novel CNN called SegNet, which directly outputs a (coarse) semantic segmentation. Importantly, SegNet is specifically trained to optimize the corpus-level PASCAL IOU loss function. To the best of our knowledge, this is the first CNN specifically designed for semantic segmentation. This two-module approach achieves $52.5\%$ on the PASCAL 2012 segmentation challenge.

研究动机与目标

• 为解决深度CNN在结构化预测任务（如语义分割）中的泛化问题，其中输出空间的结构至关重要。
• 通过利用ImageNet预训练权重和任务特定微调，缓解密集像素级标注数据有限的问题。
• 将图模型用于结构化输出推理，与深度学习结合以实现丰富特征提取，避免上下文与定位之间的权衡。
• 开发一种专门针对语义分割任务训练的CNN架构，采用语料级结构化损失函数，而非标准的交叉熵损失。

提出的方法

• 图模型（CRFs）为每张图像生成5–30个多样化、高召回率的分割提议，以捕捉结构依赖关系。
• 一种新型CNN——SegNet，通过端到端训练输出粗粒度的语义分割结果，损失函数为语料级PASCAL IOU损失。
• SegNet使用ImageNet预训练权重（来自AlexNet）初始化低层特征，后续层在PASCAL分割数据上进行微调。
• 利用从SegNet提取的特征对提议进行重新排序，实现在不损失分辨率的前提下进行整体图像推理。
• 最终分割结果从重新排序后的提议中选取，结合深层特征与结构化建模。
• 训练过程中采用IOU与交叉熵损失的混合损失，以提升收敛速度与性能。

实验结果

研究问题

• RQ1 能否有效训练CNN以优化结构化评估指标（如IOU），而非标准交叉熵损失，用于语义分割？
• RQ2 将图模型用于提议生成与深度CNN用于重新排序相结合，如何提升分割性能？
• RQ3 分割专用CNN学习到的特征在多大程度上优于通用分类特征或手工设计特征？
• RQ4 采用两阶段流程（先生成提议，再重新排序）是否能更有效地利用密集预测任务中的有限训练数据？

主要发现

• 所提方法在PASCAL VOC 2012测试集上达到52.5%的平均IOU，优于当时许多现有方法。
• 使用语料级IOU损失训练SegNet显著优于仅使用交叉熵损失，证明了任务特定损失优化的重要性。
• IOU与交叉熵损失的线性组合（0.7:0.3）进一步提升了性能，表明二者具有互补优势。
• 仅使用SegNet特征即达到49.0%的IOU，优于基于分类的特征（47.8%）和手工特征（48.1%），表明其在分割表征上的优越性。
• 将SegNet特征与[26]中的特征及分类特征结合，性能进一步提升至53%，表明SegNet特征既强大又具有互补性。
• 消融实验确认，即使单独使用，SegNet特征也比传统CNN特征或手工特征更有效。