[论文解读] Cross-view Transformers for real-time Map-view Semantic Segmentation

Brady Zhou, Philipp Krähenbühl|arXiv (Cornell University)|May 5, 2022

Advanced Image and Video Retrieval Techniques被引用 11

一句话总结

本文提出Cross-View Transformers，一种基于注意力机制的实时模型，通过摄像头感知的位置嵌入学习隐式几何映射，实现从多摄像头输入进行鸟瞰图语义分割。该方法在nuScenes数据集上达到最先进性能，单张GPU推理速度达35 FPS，优于先前方法在速度与准确率方面的表现，同时避免了显式深度估计。

ABSTRACT

We present cross-view transformers, an efficient attention-based model for map-view semantic segmentation from multiple cameras. Our architecture implicitly learns a mapping from individual camera views into a canonical map-view representation using a camera-aware cross-view attention mechanism. Each camera uses positional embeddings that depend on its intrinsic and extrinsic calibration. These embeddings allow a transformer to learn the mapping across different views without ever explicitly modeling it geometrically. The architecture consists of a convolutional image encoder for each view and cross-view transformer layers to infer a map-view semantic segmentation. Our model is simple, easily parallelizable, and runs in real-time. The presented architecture performs at state-of-the-art on the nuScenes dataset, with 4x faster inference speeds. Code is available at https://github.com/bradyz/cross_view_transformers.

研究动机与目标

• 解决自动驾驶中从多摄像头视角实现鲁棒、实时鸟瞰图语义分割的挑战。
• 消除对显式深度估计的依赖，后者易出错且几何刚性。
• 通过注意力机制学习摄像头视角与标准鸟瞰图之间隐式的几何关系。
• 在保持对传感器失效鲁棒性的前提下，提升现有方法的推理速度与准确率。
• 通过学习的位置嵌入利用标定的摄像头几何关系，无需显式几何建模。

提出的方法

• 模型为每个摄像头视角使用卷积图像编码器提取局部特征。
• 基于相机内参与外参学习摄像头感知的位置嵌入，编码几何关系。
• 跨视角Transformer层使用共享的鸟瞰图位置嵌入，在所有摄像头特征之间执行多头注意力。
• 注意力机制学习将单个摄像头视角的特征映射到统一的鸟瞰图表示，无需显式几何投影。
• 架构通过堆叠多个注意力与MLP模块，逐步优化鸟瞰图表示。
• 模型通过端到端的鸟瞰图分割损失进行训练，隐式学习深度与几何信息，无需显式监督。

Figure 1 : We introduce an architecture for perception in a map-view frame from multiple views. Our model builds a map-view representation by cross-attending to image features. A camera-aware positional embedding can geometrically link up the camera and map-views.

实验结果

研究问题

• RQ1 基于Transformer的架构是否能在无需显式几何建模或深度监督的情况下，学习准确的跨视角特征映射？
• RQ2 与无嵌入或学习嵌入相比，摄像头感知的位置嵌入在鸟瞰图语义分割中表现如何？
• RQ3 在传感器失效或遮挡情况下，模型的泛化能力如何？
• RQ4 随着距离自车的增加，性能如何退化？
• RQ5 注意力机制是否能隐式学习摄像头与鸟瞰图之间的几何对应关系？

主要发现

• 该模型在nuScenes数据集的鸟瞰图语义分割任务中达到最先进性能，准确率与速度均优于先前方法。
• 模型在单张RTX 2080 Ti GPU上实现35 FPS推理速度，比基线方法快4倍。
• 使用随机傅里叶投影的摄像头感知位置嵌入性能最佳，优于学习或线性嵌入。
• 摄像头失效导致性能线性下降，但只要可见区域保持，仍具鲁棒性。
• 与最近似竞争对手FIERY相比，该模型在远距离或遮挡物体上的性能退化更慢，表明其泛化能力更强。
• 可视化结果证实，跨视角注意力机制学习到了有意义的几何对应关系，能突出对鸟瞰图预测有贡献的图像区域。

Figure 2 : An overview of our proposed architecture for map-view segmentation. For each image, we extract image features across multiple scales. Using known camera pose and intrinsics, we construct a camera-aware positional embedding. We learn a map-view positional embedding that aggregates informat