[论文解读] Feedforward semantic segmentation with zoom-out features

Mohammadreza Mostajabi, Payman Yadollahpour+1 more|arXiv (Cornell University)|Dec 2, 2014

Advanced Neural Network Applications参考文献 26被引用 43

一句话总结

本文提出一种前馈语义分割框架，通过使用预训练的卷积神经网络聚合多尺度、缩放外推（zoom-out）特征——从局部超像素到全局图像上下文——来增强超像素分类。该方法通过使用非对称损失函数训练深层前馈网络，在 PASCAL VOC 2012 上实现了 64.4% 的平均 mIoU，达到最先进性能，优于无需复杂推理的结构化模型。

ABSTRACT

We introduce a purely feed-forward architecture for semantic segmentation. We map small image elements (superpixels) to rich feature representations extracted from a sequence of nested regions of increasing extent. These regions are obtained by "zooming out" from the superpixel all the way to scene-level resolution. This approach exploits statistical structure in the image and in the label space without setting up explicit structured prediction mechanisms, and thus avoids complex and expensive inference. Instead superpixels are classified by a feedforward multilayer network. Our architecture achieves new state of the art performance in semantic segmentation, obtaining 64.4% average accuracy on the PASCAL VOC 2012 test set.

研究动机与目标

• 探究语义分割是否能在不使用显式结构化预测或复杂推理的情况下实现最先进性能。
• 研究多尺度、外推特征融合在捕捉超像素分类长距离上下文依赖关系方面的有效性。
• 评估仅使用非对称损失的简单前馈神经网络是否能在语义分割中超越复杂结构化模型。
• 证明通过特征工程使结构化方面隐含化，可有效利用深层卷积神经网络进行语义分割。
• 通过将手工设计特征替换为来自缩放外区域的可学习表征，为端到端学习建立分割基线。

提出的方法

• 该方法以超像素作为输入单元，采用“外推”策略在四个空间层级提取特征：局部（超像素本身）、邻近（小邻域）、遥远（较大区域）和全局（整幅图像）。
• 各外推层级的特征通过预训练的卷积神经网络（ConvNets）提取，且所有层级使用相同的网络以保持一致性。
• 将所有四个层级的特征向量拼接为每个超像素的单一高维表征。
• 基于拼接后的外推特征，使用多层前馈神经网络对每个超像素进行分类，训练时采用非对称损失函数以缓解类别不平衡问题。
• 通过在多尺度特征融合中隐式嵌入上下文推理，该架构避免了使用 CRF 或类似 CRF 的推理机制。
• 后处理包括一个可学习分类器，用于修正孤立的误分类区域，使验证集性能提升约 0.5%，同时改善视觉质量。

实验结果

研究问题

• RQ1 仅使用多尺度外推特征的纯前馈架构是否能在不依赖结构化预测或复杂推理的情况下实现最先进语义分割性能？
• RQ2 与仅使用局部或单尺度方法相比，融合来自局部到全局的多空间尺度特征在提升分割精度方面的有效性如何？
• RQ3 使用非对称损失函数在提升分割性能方面有多大作用，特别是在处理类别不平衡问题时？
• RQ4 在不同外推层级应用预训练的 ConvNets 是否能有效编码图像区域间的上下文依赖关系，而无需显式建模空间结构？
• RQ5 是否可能通过单阶段、非结构化的分类框架超越现有 SOTA 的语义分割结果？

主要发现

• 所提方法在 PASCAL VOC 2012 测试集上实现了 64.4% 的平均交并比（mIoU），在发表时创下新 SOTA 记录。
• 外推特征融合策略显著优于仅使用局部或单尺度特征提取的方法，原因在于其对长距离上下文的建模更优。
• 使用非对称损失函数进行分类器训练可显著提升分割精度，尤其对罕见或难以检测的类别效果明显。
• 在斯坦福背景数据集（SBD）上，该模型表现优于多项近期方法，达到 82.1% 的像素准确率和 77.3% 的类别准确率，超越了包括多尺度和循环 CNN 在内的先前工作。
• 尽管未显式建模结构化关系，该方法仍能生成视觉上连贯的分割结果，布局准确度合理，但部分伪影（如小的孤立区域）仍存在。
• 通过为孤立区域引入可学习分类器进行后处理，验证集性能提升了约 0.5%，表明仍有进一步优化空间。