[论文解读] Instance-Level Segmentation for Autonomous Driving with Deep Densely Connected MRFs

Ziyu Zhang, Sanja Fidler+1 more|arXiv (Cornell University)|Dec 21, 2015

Advanced Neural Network Applications参考文献 26被引用 20

一句话总结

本文提出一种密集连接的马尔可夫随机场（MRF），通过利用重叠图像块上的局部卷积神经网络（CNN）预测，在单目图像中实现全局一致的实例级分割。通过整合与图像块输出的兼容性、对比度敏感的平滑性以及通过Potts势能实现的实例间分离，该方法实现了高效的平均场推理，并在KITTI基准上显著优于先前工作。

ABSTRACT

Our aim is to provide a pixel-wise instance-level labeling of a monocular image in the context of autonomous driving. We build on recent work [Zhang et al., ICCV15] that trained a convolutional neural net to predict instance labeling in local image patches, extracted exhaustively in a stride from an image. A simple Markov random field model using several heuristics was then proposed in [Zhang et al., ICCV15] to derive a globally consistent instance labeling of the image. In this paper, we formulate the global labeling problem with a novel densely connected Markov random field and show how to encode various intuitive potentials in a way that is amenable to efficient mean field inference [Krähenbühl et al., NIPS11]. Our potentials encode the compatibility between the global labeling and the patch-level predictions, contrast-sensitive smoothness as well as the fact that separate regions form different instances. Our experiments on the challenging KITTI benchmark [Geiger et al., CVPR12] demonstrate that our method achieves a significant performance boost over the baseline [Zhang et al., ICCV15].

研究动机与目标

• 解决从单目图像中局部重叠的CNN预测推导出全局一致实例级分割的挑战。
• 改进以往依赖启发式方法或简单MRF来整合图像块预测的方法。
• 建模远距离图像区域之间的长程依赖关系，以防止不同实例的合并。
• 整合对比度敏感的平滑性与实例分离约束，以实现更精确的边界预测。
• 通过与平均场方法兼容的公式化，实现在像素级标签上的高效推理。

提出的方法

• 构建一个密集连接的MRF，将图像块内及来自图像块预测的远距离连通组件中的所有像素对相互连接。
• 引入三种关键势能：与局部CNN预测的兼容性、对比度敏感的平滑性，以及用于实例分离的Potts势能。
• 以一种适合高效平均场推理的方式编码所有势能，扩展了先前关于高斯MRF的工作。
• 使用CNN在密集采样的、尺寸多样的图像块上生成软实例标签。
• 应用后处理（孔洞填充、区域移除、分割）以优化预测，尤其针对完整模型。
• 使用验证集基于实例级F1分数（InsF1）选择模型参数。

实验结果

研究问题

• RQ1 密集连接的MRF能否有效将局部CNN预测整合为全局一致的实例标注？
• RQ2 远距离图像区域之间的长程连接在分割中如何改善实例分离？
• RQ3 对比度敏感的平滑性在多大程度上减少了预测中的噪声与边界伪影？
• RQ4 Potts势能能否有效强制实例唯一性并防止不同物体的合并？
• RQ5 所提出的MRF公式化是否能在保持高精度的同时实现高效推理？

主要发现

• 完整模型（整合所有势能）相比基线[32]实现了显著的性能提升，尤其在实例级精确率和F1分数方面。
• 在'LocCNNPred+InterConnComp'变体中，通过鼓励远距离实例的独立标注，相比'LocCNNPred'减少了假阳性。
• 完整模型中加入平滑项后，显著减少了噪声且零散的区域——尤其是在实例边界附近——使预测结果更加清晰。
• 后处理进一步提升了性能，完整模型在KITTI测试集的多个指标上均优于所有基线。
• 定性结果表明，与基线相比，所提方法能更好地分离相邻实例，而基线常出现合并现象。
• 失败案例主要源于CNN混淆（如厢型车被误分类为汽车）和严重遮挡，表明CNN泛化能力存在局限。