[论文解读] Gaussian Processes Semantic Map Representation

Maani Ghaffari, Lu Gan+3 more|arXiv (Cornell University)|Jul 5, 2017

Gaussian Processes and Bayesian Inference参考文献 44被引用 10

一句话总结

本文提出了一种高斯过程语义地图（GPSM），通过使用原始像素标签将二值GP占据地图扩展为多类别语义映射。通过核方法建模空间与非空间相关性，GPSM实现了连续的、分辨率可调的推理，并在处理稀疏、噪声大或标签错误的数据时优于语义OctoMap，在NYU Depth V2数据集上取得了更高的AUC分数。

ABSTRACT

In this paper, we develop a high-dimensional map building technique that incorporates raw pixelated semantic measurements into the map representation. The proposed technique uses Gaussian Processes (GPs) multi-class classification for map inference and is the natural extension of GP occupancy maps from binary to multi-class form. The technique exploits the continuous property of GPs and, as a result, the map can be inferred with any resolution. In addition, the proposed GP Semantic Map (GPSM) learns the structural and semantic correlation from measurements rather than resorting to assumptions, and can flexibly learn the spatial correlation as well as any additional non-spatial correlation between map points. We extend the OctoMap to Semantic OctoMap representation and compare with the GPSM mapping performance using NYU Depth V2 dataset. Evaluations of the proposed technique on multiple partially labeled RGBD scans and labels from noisy image segmentation show that the GP semantic map can handle sparse measurements, missing labels in the point cloud, as well as noise corrupted labels.

研究动机与目标

• 开发一种高维、连续的语义地图表示方法，整合来自RGBD扫描的原始像素化语义测量数据。
• 将基于GP的占据映射从二值分类扩展到多类别分类，以实现更丰富的机器人环境理解。
• 通过利用高斯过程的连续特性，实现在任意分辨率下的推理。
• 直接从数据中学习结构与语义相关性，避免依赖预设假设。
• 提升对稀疏测量、缺失标签和噪声分割输出的鲁棒性，以应对真实机器人映射中的挑战。

提出的方法

• 将语义映射建模为多类别分类问题，以空间坐标为输入，语义标签为输出。
• 在高斯过程框架内使用核方法，对地图点之间的空间与非空间相关性（如颜色、强度）进行建模。
• 通过最大化边缘似然函数联合推断完整语义地图，实现带有不确定性的预测。
• 将部分观测数据用作训练数据，通过后验均值与方差在任意查询位置进行预测。
• 将OctoMap框架扩展为语义OctoMap（SOM）用于对比，采用体素化方式从点云聚合标签。
• 基于奈奎斯特-香农采样定理，证明使用下采样点云可保持地图保真度的合理性。

实验结果

研究问题

• RQ1 基于高斯过程的方法能否在3D空间中以任意分辨率连续推断语义标签，即使输入为稀疏或不完整的测量？
• RQ2 当面对噪声大或错误分类的图像分割标签时，GPSM相较于基于体素的语义OctoMap（SOM）表现如何？
• RQ3 GPSM在无需先验假设的前提下，能在多大程度上从原始数据中学习并利用空间与非空间相关性（如颜色、纹理）？
• RQ4 GPSM能否通过利用空间相关性有效减少标签传播中的误报，即使输入标签已被污染？
• RQ5 与传统基于OctoMap的方法相比，GPSM的计算成本如何随输入规模与维度增长？

主要发现

• 在NYU Depth V2数据集的所有测试帧中，GPSM的AUC分数均高于语义OctoMap，其中在第965帧表现最佳（AUC：0.8612 vs. 0.77456）。
• 在第282帧中，尽管存在噪声大、误报多的分割标签，GPSM仍取得0.7192的AUC，优于SOM的0.68402。
• GPSM成功推断出缺失标签，并通过利用空间相关性降低了错误分类观测的影响，尤其在空间距离较远但标签相似的区域表现显著。
• 该方法对稀疏测量与标签噪声表现出强鲁棒性，在全部四个测试帧中均持续优于SOM。
• GPSM的连续特性使其能够实现无固定网格约束的高分辨率推理，而SOM为离散体素结构。
• GPSM处理任意非空间输入（如颜色、强度）的能力得到验证，尽管主要对比实验中仅使用了空间输入。