[论文解读] Efficient Likelihood Learning of a Generic CNN-CRF Model for Semantic Segmentation.

Alexander Kirillov, Dmitrij Schlesinger+5 more|arXiv (Cornell University)|Nov 16, 2015

Advanced Neural Network Applications参考文献 28被引用 15

一句话总结

本文提出了一种高效、联合最大似然学习方法，用于通用的CNN-CRF模型，通过将CNN特征与CRF势函数相结合，提升深度图像中的语义分割性能。该方法实现了可扩展的非参数化CRF学习，并完成完整的参数优化，在捕捉形状和上下文依赖关系方面优于先前的方法。

ABSTRACT

Deep Models, such as Convolutional Neural Networks (CNNs), are omnipresent in computer vision, as well as, structured models, such as Conditional Random Fields (CRFs). Combining them brings many advantages, foremost the ability to in-cooperate prior knowledge into CNNs, e.g. by explicitly modelling the dependencies between output variables. In this work we present a CRF model were unary factors are dependent on a CNN. Our main contribution is an efficient and scalable, maximum likelihood-based, learning procedure to infer all model parameters jointly. Previous work either concentrated on piecewise-training, or maximum likelihood learning of restricted model families, such as Gaussian CRFs or CRFs with a few variables only. In contrast, we are the first to perform maximum likelihood learning for large-sized factor graphs with non-parametric potentials. We have applied our model to the task of semantic labeling of body parts in depth images. We show that it is superior to selected competing models and learning strategies. Furthermore, we empirically observe that our model can capture shape and context information of relating body parts.

研究动机与目标

• 解决先前研究在通过分段训练或受限模型学习CRF参数方面的局限性。
• 实现基于CNN的单变量势函数的大规模、非参数化CRF因子图的联合最大似然学习。
• 通过CRF建模引入结构化和上下文先验，提升语义分割性能。
• 证明模型能够捕捉深度图像中身体各部分之间的形状和空间关系。

提出的方法

• 构建一个通用的CNN-CRF模型，其中单变量势函数由深度CNN生成。
• 定义非参数化CRF势函数，以实现灵活、数据驱动的成对依赖关系建模。
• 开发一种高效的优化过程，用于所有模型参数的联合最大似然学习。
• 使用随机梯度下降结合近似推理，将学习过程扩展到大规模因子图。
• 通过可微分的CRF推理，将结构化预测与深度特征相结合。
• 通过反向传播穿过CRF推理过程，实现端到端训练。

实验结果

研究问题

• RQ1 联合最大似然学习能否高效扩展到具有CNN特征的大规模、非参数化CRF模型？
• RQ2 在语义分割中，CRF参数的联合学习与分段或受限学习策略相比表现如何？
• RQ3 该模型在多大程度上能够捕捉深度图像中身体各部分之间的空间和上下文关系？
• RQ4 与基线CNN和CRF模型相比，所提出方法是否提升了分割精度？

主要发现

• 所提方法在语义分割性能上优于竞争模型和学习策略。
• 该模型能有效捕捉深度图像中相关身体部位之间的形状和上下文信息。
• 联合最大似然学习相比分段或受限学习方法，实现了更优的参数优化。
• 该方法能高效扩展到具有非参数化势函数的大规模因子图，支持实际部署。
• 实证结果证实，通过利用结构化CRF先验，模型显著提升了分割精度。
• 该方法展示了在复杂结构化预测任务中，通过可微分CRF推理实现端到端训练的可行性。