[论文解读] Fast, Exact and Multi-Scale Inference for Semantic Image Segmentation with Deep Gaussian CRFs

Siddhartha Chandra, Iasonas Kokkinos|arXiv (Cornell University)|Mar 28, 2016

Advanced Neural Network Applications参考文献 29被引用 12

一句话总结

本文提出了一种深度高斯条件随机场（Gaussian CRF）框架，实现了语义图像分割的精确、快速且端到端可训练的推理。通过将结构化预测建模为二次优化问题，该方法通过求解线性系统实现精确的最大后验（MAP）推理，从而实现高效的梯度计算与多尺度特征融合，在使用多分辨率网络的情况下，PASCAL VOC 2012 上达到了 75.5% 的平均交并比（IoU），性能达到当前最先进水平。

ABSTRACT

In this work we propose a structured prediction technique that combines the virtues of Gaussian Conditional Random Fields (G-CRF) with Deep Learning: (a) our structured prediction task has a unique global optimum that is obtained exactly from the solution of a linear system (b) the gradients of our model parameters are analytically computed using closed form expressions, in contrast to the memory-demanding contemporary deep structured prediction approaches that rely on back-propagation-through-time, (c) our pairwise terms do not have to be simple hand-crafted expressions, as in the line of works building on the DenseCRF, but can rather be `discovered' from data through deep architectures, and (d) out system can trained in an end-to-end manner. Building on standard tools from numerical analysis we develop very efficient algorithms for inference and learning, as well as a customized technique adapted to the semantic segmentation task. This efficiency allows us to explore more sophisticated architectures for structured prediction in deep learning: we introduce multi-resolution architectures to couple information across scales in a joint optimization framework, yielding systematic improvements. We demonstrate the utility of our approach on the challenging VOC PASCAL 2012 image segmentation benchmark, showing substantial improvements over strong baselines. We make all of our code and experiments available at {https://github.com/siddharthachandra/gcrf}

研究动机与目标

• 开发一种将深度学习与精确推理相结合的结构化预测框架，用于语义分割。
• 克服现有深度结构化预测方法中依赖迭代推理与时间反向传播所导致的内存与近似瓶颈。
• 通过解析计算的梯度，实现端到端训练深度神经网络与结构化CRF模块。
• 探索多分辨率架构，通过在多尺度上联合优化特征，提升分割精度。
• 证明基于学习的成对势函数与精确推理可优于深度结构化模型中的近似推理。

提出的方法

• 该方法将后验概率建模为高斯条件随机场（G-CRF），从而得到一个具有唯一全局最优解的二次能量函数。
• 通过求解源自二次能量函数的稀疏线性系统，实现精确推理，从而实现快速且确定性的优化。
• 利用闭式表达式对模型参数的梯度进行解析计算，避免了时间反向传播，降低了内存消耗。
• 通过深度神经网络端到端学习成对势函数，替代传统DenseCRF中手工设计的项。
• 引入多分辨率架构，将多尺度特征整合进联合优化框架中。
• 该框架基于 Caffe 实现，并针对 GPU 推理进行了优化，实现每张图像 0.003–0.02 秒的推理时间。

实验结果

研究问题

• RQ1 是否可以在不依赖迭代近似方法的前提下，在深度学习框架中高效实现结构化预测的精确推理？
• RQ2 是否可以使用解析推导的梯度而非时间反向传播，实现深度神经网络与结构化CRF模块的端到端训练？
• RQ3 通过深度网络从数据中学习成对势函数，是否能提升分割性能，优于手工设计的势函数？
• RQ4 在联合优化框架中进行多尺度特征融合，是否能系统性地提升分割精度？
• RQ5 所提出的方法是否能在保持计算效率的同时，超越如 CRF-RNN 等当前最先进方法？

主要发现

• 所提方法在 PASCAL VOC 2012 基准测试中实现了 75.5% 的平均交并比（IoU），相比之前的最先进方法 CRF-RNN 提升了 0.8%。
• 在 GPU 上，对于 Potts 类型的成对势情况，该方法在 0.003 秒内完成精确推理；对于一般情况，推理时间为 0.02 秒。
• 多分辨率 QO mres 架构显著提升了对细粒度细节的捕捉能力，如飞机尾部、人体四肢和道路边界等。
• 当与 Deeplab-v2 ResNet-101 网络结合时，经过 CRF 优化后，该方法实现了 80.2% 的平均 IoU，超过原始模型在 CRF 后处理下的 79.7%。
• 定性结果表明，该方法能生成更清晰的物体边界，并在单一场景中因遮挡导致的单一场景模糊时仍能更好地保留细节。
• 该框架支持使用解析计算梯度的端到端训练，无需对推理步骤进行内存密集型的展开。