[论文解读] A Generic CNN-CRF Model for Semantic Segmentation

Alexander Kirillov, Dmitrij Schlesinger+5 more|arXiv (Cornell University)|Nov 16, 2015

Advanced Neural Network Applications被引用 1

一句话总结

本文提出了一种通用的端到端CNN-CRF框架，通过随机梯度下降联合优化卷积神经网络与条件随机场参数，实现了可扩展、内存高效且支持GPU并行训练。该方法在深度图像中人体部位的语义分割任务上达到最先进性能，优于现有技术。

ABSTRACT

We propose a new CNN-CRF end-to-end learning framework, which is based on joint stochastic optimization with respect to both Convolutional Neural Network (CNN) and Conditional Random Field (CRF) parameters. While stochastic gradient descent is a standard technique for CNN training, it was not used for joint models so far. We show that our learning method is (i) general, i.e. it applies to arbitrary CNN and CRF architectures and potential functions; (ii) scalable, i.e. it has a low memory footprint and straightforwardly parallelizes on GPUs; (iii) easy in implementation. Additionally, the unified CNN-CRF optimization approach simplifies a potential hardware implementation. We empirically evaluate our method on the task of semantic labeling of body parts in depth images and show that it compares favorably to competing techniques.

研究动机与目标

• 开发一种统一的训练框架，联合优化CNN与CRF参数以实现语义分割。
• 实现随机梯度下降对CNN-CRF联合学习的应用，该方法此前尚未被应用。
• 设计一种可扩展且硬件友好的优化方法，兼容任意CNN与CRF架构。
• 在人体部位的深度图像语义标注任务上对方法进行实证评估。
• 证明该方法在语义分割任务中优于现有最先进技术。

提出的方法

• 该框架采用对CNN与CRF参数的联合随机优化，支持端到端训练。
• 使用随机梯度下降优化联合CNN-CRF模型，确保可扩展性与GPU并行化。
• 该方法具有通用性，支持任意CNN架构与CRF势函数。
• 优化过程保持低内存占用，促进高效训练。
• 统一的参数更新策略简化了潜在的硬件加速与实现。
• 在深度图像上对身体部位的语义标注任务进行端到端训练。

实验结果

研究问题

• RQ1 能否有效应用CNN与CRF参数的联合随机优化于语义分割？
• RQ2 所提方法在深度图像分割任务中是否优于现有CNN-CRF方法？
• RQ3 联合优化框架在内存与计算方面是否具备可扩展性与高效性？
• RQ4 该方法是否易于实现并能高效移植至硬件？
• RQ5 通用设计是否支持任意CNN与CRF架构而无架构限制？

主要发现

• 所提出的联合优化框架在深度图像中人体部位的语义分割任务上达到最先进性能。
• 该方法在评估任务中表现优于竞争技术。
• 训练过程具备可扩展性，内存使用低，且在GPU上实现有效并行化。
• 统一的优化方法简化了实现，并支持潜在的硬件部署。
• 该方法具有通用性，适用于多种CNN与CRF架构及势函数。
• 随机梯度下降成功应用于联合CNN-CRF学习，实现了端到端训练。