[论文解读] Fast Semantic Image Segmentation with High Order Context and Guided Filtering

Falong Shen, Gang Zeng|arXiv (Cornell University)|May 13, 2016

Advanced Neural Network Applications参考文献 25被引用 8

一句话总结

本文提出了一种快速且准确的语义图像分割方法，该方法在自底向上的条件随机场框架中整合了高阶上下文建模与引导滤波。通过在粗粒度层级使用可学习的消息传递机制替代传统CRF推理，并在细粒度层级使用引导滤波作为双边CRF的快速替代方案，该方法在Pascal VOC 2012数据集上的推理速度比经典方法快100倍，同时实现了最先进性能。

ABSTRACT

This paper describes a fast and accurate semantic image segmentation approach that encodes not only the discriminative features from deep neural networks, but also the high-order context compatibility among adjacent objects as well as low level image features. We formulate the underlying problem as the conditional random field that embeds local feature extraction, clique potential construction, and guided filtering within the same framework, and provide an efficient coarse-to-fine solver. At the coarse level, we combine local feature representation and context interaction using a deep convolutional network, and directly learn the interaction from high order cliques with a message passing routine, avoiding time-consuming explicit graph inference for joint probability distribution. At the fine level, we introduce a guided filtering interpretation for the mean field algorithm, and achieve accurate object boundaries with 100+ faster than classic learning methods. The two parts are connected and jointly trained in an end-to-end fashion. Experimental results on Pascal VOC 2012 dataset have shown that the proposed algorithm outperforms the state-of-the-art, and that it achieves the rank 1 performance at the time of submission, both of which prove the effectiveness of this unified framework for semantic image segmentation.

研究动机与目标

• 解决语义分割中精确CRF推理带来的高计算成本问题，同时保持结构一致性。
• 通过整合低层次图像特征与对象类别之间的高阶上下文关系，提升边界精度。
• 实现深度特征、上下文建模与边界优化的端到端联合训练，以实现联合优化。
• 在不牺牲分割精度的前提下，实现近实时推理速度。

提出的方法

• 引入一种粗粒度层级的上下文CRF，利用基于区域特征和预测标签的消息传递机制建模高阶团相互作用。
• 采用深度卷积神经网络提取局部特征，并以端到端方式联合训练上下文感知表示。
• 在CRF中用引导滤波替代传统双边滤波，作为均场算法中的单步消息传递操作，实现100倍加速。
• 采用两阶段推理流程：先进行粗粒度层级的上下文编码，再通过引导滤波实现细粒度层级的边界优化。
• 使用均场近似推理建模联合分布，消息估计器由深度特征和标签图推导得出。
• 引入隐藏全局节点，将局部预测与全局上下文对齐，提升预测一致性。

实验结果

研究问题

• RQ1 是否可以在不显式进行全局图推理的情况下，有效建模对象类别之间的高阶上下文交互？
• RQ2 引导滤波是否可作为双边CRF在边界优化中的计算高效替代方案？
• RQ3 深度特征、上下文建模与边界优化的端到端联合训练是否能提升分割精度？
• RQ4 结合可学习消息传递的自底向上框架是否能以显著更快的推理速度实现最先进性能？

主要发现

• 所提方法在Pascal VOC 2012测试集上达到78.1%的平均交并比（mIoU），优于所有先前的最先进方法。
• 在提交时，该模型在Pascal VOC 2012排行榜上位列第一，证实其SOTA地位。
• 基于引导滤波的优化步骤比经典学习型CRF方法快100倍，同时保持或提升了边界精度。
• 与基线FCN相比，粗粒度层级的上下文CRF结合高阶团建模在20个类别中的14个类别上表现更优。
• 全管道的端到端联合训练相比分步或后处理方法，能获得更好的泛化性与一致性。
• 该方法在准确率与速度上均优于Piecewise [8] 和 [31] 等方法，尤其在细粒度类别（如“chair”和“potted plant”）上表现更优。