[论文解读] FISHING Net: Future Inference of Semantic Heatmaps In Grids

Noureldin Hendy, Cooper Stokes Sloan+6 more|arXiv (Cornell University)|Jun 17, 2020

Distributed and Parallel Computing Systems参考文献 17被引用 51

一句话总结

本文提出一个端到端的多模态框架，能够从 lidar、radar 和 camera 数据预测当前和近未来的俯视语义网格，实现跨模态统一感知与短期预测。

ABSTRACT

For autonomous robots to navigate a complex environment, it is crucial to understand the surrounding scene both geometrically and semantically. Modern autonomous robots employ multiple sets of sensors, including lidars, radars, and cameras. Managing the different reference frames and characteristics of the sensors, and merging their observations into a single representation complicates perception. Choosing a single unified representation for all sensors simplifies the task of perception and fusion. In this work, we present an end-to-end pipeline that performs semantic segmentation and short term prediction using a top-down representation. Our approach consists of an ensemble of neural networks which take in sensor data from different sensor modalities and transform them into a single common top-down semantic grid representation. We find this representation favorable as it is agnostic to sensor-specific reference frames and captures both the semantic and geometric information for the surrounding scene. Because the modalities share a single output representation, they can be easily aggregated to produce a fused output. In this work we predict short-term semantic grids but the framework can be extended to other tasks. This approach offers a simple, extensible, end-to-end approach for multi-modal perception and prediction.

研究动机与目标

• 将多传感器观测统一为一个单一的、对传感器无关的俯视语义网格表示。
• 在一个端到端流水线中实现同时感知与短期预测。
• 评估用于多模态语义网格输出的不同融合策略的优势。
• 展示框架对多样化传感器模态和参考坐标系的扩展性。

提出的方法

• 一种模态特异的编码-解码网络的集成，输出每个传感器的一系列俯视语义网格。
• 视觉模块在编码器和解码器之间使用像素空间到俯视的学习正交变换特征。
• Lidar 和 radar 使用类似 U-Net 的编码-解码网络来预测网格。
• 来自多台摄像机的视觉特征在共享编码器及学习的正交变换之后进行融合。
• 多模态融合通过平均池化或基于优先级的池化聚合跨模态的 softmax 输出。

实验结果

研究问题

• RQ1 多传感器模态（lidar、radar、camera）能否映射到一个公共的俯视语义网格表示？
• RQ2 端到端融合当前和近未来的语义网格是否能提升自主导航的感知与短期预测？
• RQ3 不同的融合策略（平均/优先级池化）如何影响跨模态的感知精度？
• RQ4 该方法在不改变输出网格表示的情况下，是否对其他模态和参考坐标系具有扩展性？
• RQ5 在开放数据集（NuScenes、Lyft）和专门构建数据集上的相对性能如何？

主要发现

• 框架能够预测短期未来的语义网格（高达 2s），覆盖三类：VRU、车辆与背景。
• Lidar 在 NuScenes 和 Lyft 数据集上通常在当前和近未来网格的精度与召回率高于视觉。
• 基于视觉的顶视预测是可行的，但因单目线索的深度与自我运动估计而更具挑战性。
• 平均池化通常带来更高的精度，而优先级池化在跨数据集的召回率上更高。
• 雷达提供互补的深度/运动信息，在包含雷达的专用数据集中提升了性能。
• 该方法可扩展到更大、信息更丰富的数据集，且在模态越多时表现越好（报告结果中：Lidar > Radar > Vision）。