[论文解读] Higher Order Potentials in End-to-End Trainable Conditional Random Fields

Anurag Arnab, Sadeep Jayasumana+2 more|arXiv (Cornell University)|Nov 25, 2015

Advanced Neural Network Applications参考文献 34被引用 15

一句话总结

本文提出一种可端到端训练的条件随机场（CRF），其基于目标检测和超像素的可微分高阶势函数，实现了与卷积神经网络（CNN）的联合学习，从而提升了语义分割性能。通过将这些势函数整合到期望场推理框架中，该模型在性能上显著优于标准CRF和基线网络。

ABSTRACT

We tackle the problem of semantic segmentation using deep learning techniques. Most semantic segmentation systems include a Conditional Random Field (CRF) model to produce a structured output that is consistent with visual features of the image. With recent advances in deep learning, it is becoming increasingly common to perform CRF inference within a deep neural network to facilitate joint learning of the CRF with a pixel-wise Convolutional Neural Network (CNN) classifier. While basic CRFs use only unary and pairwise potentials, it has been shown that the addition of higher order potentials defined on cliques with more than two nodes can result in a better segmentation outcome. In this paper, we show that two types of higher order potential, namely, object detection based potentials and superpixel based potentials, can be included in a CRF embedded within a deep network. We design these higher order potentials to allow inference with the efficient and differentiable mean-field algorithm, making it possible to implement our CRF model as a stack of layers in a deep network. As a result, all parameters of our richer CRF model can be jointly learned with a CNN classifier during the end-to-end training of the entire network. We find significant improvement in the results with the introduction of these trainable higher order potentials.

研究动机与目标

• 通过将高阶CRF势函数整合到深度神经网络中，提升语义分割性能。
• 通过使高阶势函数可微分，实现CRF与CNN的端到端训练。
• 设计基于目标检测和超像素的高阶势函数，使其与高效的期望场推理兼容。
• 证明可训练的高阶势函数能带来可测量的分割精度提升。

提出的方法

• 在超过两个节点的团（cliques）上定义高阶势函数，具体使用目标检测和超像素分割输出。
• 设计这些势函数以兼容期望场近似，确保高效且可微分的推理。
• 将CRF作为可微层嵌入深度神经网络中，支持通过整个架构进行反向传播。
• 使用CNN分类器生成的单变量势函数，并与新型高阶势函数在统一的CRF框架中结合。
• 应用期望场算法近似计算配分函数，实现梯度计算与端到端优化。
• 端到端训练完整模型，联合优化CNN权重与CRF参数。

实验结果

研究问题

• RQ1 当将高阶CRF势函数整合到深度学习流程中时，是否能提升语义分割性能？
• RQ2 基于目标检测和超像素的高阶势函数是否可实现可微分，以支持端到端训练？
• RQ3 引入这些可训练的高阶势函数是否能带来相对于标准CRF和基线网络的可测量性能提升？
• RQ4 在期望场近似下，这些高阶势函数是否能实现高效推理？

主要发现

• 可训练的高阶势函数的集成显著提升了语义分割性能。
• 所提方法通过期望场推理实现高阶势函数的可微分性，从而支持CRF与CNN的端到端训练。
• 基于目标检测和超像素的高阶势函数有助于生成更准确且结构化的预测结果。
• 与未采用此类结构建模的标准CRF和基线网络相比，该模型实现了更优的分割结果。