[论文解读] GroundNet: Segmentation-Aware Monocular Ground Plane Estimation with Geometric Consistency.

Yunze Man, Xinshuo Weng+1 more|arXiv (Cornell University)|Nov 17, 2018

Robotics and Sensor-Based Localization参考文献 57被引用 6

一句话总结

GroundNet 提出了一种用于单目地面平面估计的多任务学习框架，通过分别利用两个独立的流进行法向量估计并施加几何一致性损失，联合预测表面法向、2D 地面分割和深度。该模型在 KITTI 和 ApolloScape 数据集上的地面平面法向量估计与地平线线检测任务中达到了最先进性能。

ABSTRACT

We focus on the problem of estimating the orientation of the ground plane with respect to a mobile monocular camera platform (e.g., ground robot, wearable camera, assistive robotic platform). To address this problem, we formulate the ground plane estimation problem as an inter-mingled multi-task prediction problem by jointly optimizing for point-wise surface normal direction, 2D ground segmentation, and depth estimates. Our proposed model -- GroundNet -- estimates the ground normal in two streams separately and then a consistency loss is applied on top of the two streams to enforce geometric consistency. A semantic segmentation stream is used to isolate the ground regions and are used to selectively back-propagate parameter updates only through the ground regions in the image. Our experiments on KITTI and ApolloScape datasets verify that the GroundNet is able to predict consistent depth and normal within the ground region. It also achieves top performance on ground plane normal estimation and horizon line detection.

研究动机与目标

• 提升移动单目相机平台（如地面机器人和可穿戴设备）的地面平面朝向估计性能。
• 通过施加几何一致性，解决非地面区域中深度与法向量预测不一致的问题。
• 通过语义分割分支仅在识别出的地面区域中反向传播梯度，从而提高估计精度。
• 在地面平面法向量估计与地平线线检测任务中实现最先进性能。
• 通过多任务学习框架，确保在地面平面上的深度与法向量预测具备鲁棒性与一致性。

提出的方法

• GroundNet 将地面平面估计建模为一个结合表面法向量预测、2D 地面分割与深度估计的多任务学习问题。
• 它使用两个独立的流来预测表面法向量，并通过几何一致性损失对齐，以确保空间一致性。
• 语义分割分支用于识别地面区域，并将反向传播限制在这些区域，从而提升训练效率与定位精度。
• 一致性损失强制两个法向量预测流之间对齐，确保地面平面上的几何合理性。
• 该模型通过端到端训练，联合优化法向量、深度与分割三项任务，输入为单目 RGB 图像。
• 训练在 KITTI 与 ApolloScape 数据集上进行，监督信号来自真实法向量、深度与语义标签。

实验结果

研究问题

• RQ1 多任务学习框架能否提升单目地面平面法向量估计的一致性与准确性？
• RQ2 在双法向量预测流之间施加几何一致性对估计质量有何影响？
• RQ3 通过仅在识别出的地面区域中进行选择性反向传播，能在多大程度上提升模型性能？
• RQ4 联合预测深度与分割能否提升地面平面上的法向量估计性能？
• RQ5 GroundNet 在地面平面法向量估计与地平线线检测任务中与最先进方法相比表现如何？

主要发现

• GroundNet 在 KITTI 与 ApolloScape 数据集上的地面平面法向量估计任务中均达到了最先进性能。
• 通过几何一致性损失验证，模型在地面区域内实现了深度与法向量预测的一致性。
• 语义分割分支的使用实现了选择性梯度更新，提升了训练效率与地面区域的定位精度。
• 几何一致性损失显著提升了预测法向量在地面平面上的空间一致性。
• GroundNet 在地平线线检测任务中表现出色，表明其对地面平面朝向的估计准确。
• 法向量、深度与分割的联合优化相比单任务基线模型，带来了更鲁棒、更可靠的预测结果。