[论文解读] Fusion Based Holistic Road Scene Understanding

Wenqi Huang, Xiaojin Gong|arXiv (Cornell University)|Jun 29, 2014

Advanced Neural Network Applications参考文献 10被引用 3

一句话总结

本文提出了一种基于融合的全景道路场景理解方法，通过在条件随机场（CRF）框架内联合执行基于视觉和测距数据的对象级图像分割与语义区域标注，实现整体优化。通过聚类3D点云生成物体假设，利用深度学习学习外观先验，并整合几何与上下文线索，该方法在KITTI数据集上取得了优异性能，全景评估的F-measure达到96.25%，证明了联合优化相较于独立处理的优势。

ABSTRACT

This paper addresses the problem of holistic road scene understanding based on the integration of visual and range data. To achieve the grand goal, we propose an approach that jointly tackles object-level image segmentation and semantic region labeling within a conditional random field (CRF) framework. Specifically, we first generate semantic object hypotheses by clustering 3D points, learning their prior appearance models, and using a deep learning method for reasoning their semantic categories. The learned priors, together with spatial and geometric contexts, are incorporated in CRF. With this formulation, visual and range data are fused thoroughly, and moreover, the coupled segmentation and semantic labeling problem can be inferred via Graph Cuts. Our approach is validated on the challenging KITTI dataset that contains diverse complicated road scenarios. Both quantitative and qualitative evaluations demonstrate its effectiveness.

研究动机与目标

• 解决现有道路场景理解任务中单一、孤立方法（如目标检测、分割与语义标注）的局限性。
• 利用视觉与测距数据（RGB与LiDAR）的互补优势，提升复杂城市环境中感知的鲁棒性与准确性。
• 通过条件随机场（CRF）框架建模二者相互依赖关系，联合优化对象级图像分割与语义区域标注。
• 通过从3D点云聚类中学习外观先验，减少对人工标注的依赖，避免大量像素级标注。
• 通过在统一推理过程中引入几何上下文与空间先验，实现更连贯、准确的场景理解。

提出的方法

• 通过将3D LiDAR点云聚类为候选物体，生成语义物体假设，随后基于其学习高斯混合模型（GMM）外观特征先验。
• 采用深度学习方法，基于所学习的外观模型推断物体假设的语义类别。
• 视觉与测距数据通过分层方式融合：首先通过引导上采样生成稠密深度图，再通过RGB-D图像块分类实现融合。
• 将联合分割与标注问题建模于条件随机场（CRF）框架中，整合学习到的先验、来自LiDAR点的几何约束以及空间上下文信息。
• 采用图割（Graph Cuts）方法在CRF中实现高效推理，支持分割与语义标注的全局同步优化。
• 将源自LiDAR点位置的硬约束嵌入CRF中，确保3D点云与2D图像预测之间的几何一致性。

实验结果

研究问题

• RQ1 与分别求解相比，联合优化对象级图像分割与语义区域标注是否能显著提升性能？
• RQ2 从3D点云聚类中学习到的外观先验在复杂道路场景中对语义推理的有效性如何？
• RQ3 在光照变化与遮挡等挑战性条件下，引入几何上下文与空间先验在多大程度上增强了分割与标注的鲁棒性？
• RQ4 在全景场景理解中，视觉与测距数据的分层融合是否优于早期或晚期融合策略？
• RQ5 基于CRF的框架能否有效整合多模态数据与结构约束，实现一致且高精度的场景理解？

主要发现

• 全景方法在KITTI数据集上达到96.25%的F-measure，显著优于分离方法（最高仅82.92%的F-measure）。
• 全景框架通过联合推理强制分割与语义标注之间的一致性，纠正了由目标检测传播的分割错误。
• 通过在CRF中利用几何上下文与空间先验，有效减少了将路边区域误分类为‘Car’或‘Pedestrian’的情况，提升了标注准确性。
• 该方法能精确分割出具有清晰边界的物体，包括骑行人、行人、车辆、灯柱及背景，即使在杂乱与动态场景中亦表现良好。
• 引导上采样与RGB-D图像块分类的结合提升了深度图质量与特征表示，从而增强了整体性能。
• 定性结果验证了该方法在多种复杂场景下的鲁棒性，包括严重光照变化与复杂路边杂乱环境，尤其在具有挑战性的KITTI序列中表现突出。