[论文解读] HFT: Lifting Perspective Representations via Hybrid Feature Transformation

Jiayu Zou, Junrui Xiao+5 more|arXiv (Cornell University)|Apr 11, 2022

Advanced Image and Video Retrieval Techniques被引用 10

一句话总结

本文提出HFT，一种混合特征转换框架，通过结合相机模型的几何先验与注意力机制的全局上下文建模，提升单目图像的鸟瞰图（BEV）语义分割性能。通过解耦特征图并利用几何变换器与全局变换器之间的互学习，HFT在Argoverse和KITTI 3D Object数据集上分别实现13.3%和16.8%的相对mIoU提升，且计算开销极低。

ABSTRACT

Autonomous driving requires accurate and detailed Bird's Eye View (BEV) semantic segmentation for decision making, which is one of the most challenging tasks for high-level scene perception. Feature transformation from frontal view to BEV is the pivotal technology for BEV semantic segmentation. Existing works can be roughly classified into two categories, i.e., Camera model-Based Feature Transformation (CBFT) and Camera model-Free Feature Transformation (CFFT). In this paper, we empirically analyze the vital differences between CBFT and CFFT. The former transforms features based on the flat-world assumption, which may cause distortion of regions lying above the ground plane. The latter is limited in the segmentation performance due to the absence of geometric priors and time-consuming computation. In order to reap the benefits and avoid the drawbacks of CBFT and CFFT, we propose a novel framework with a Hybrid Feature Transformation module (HFT). Specifically, we decouple the feature maps produced by HFT for estimating the layout of outdoor scenes in BEV. Furthermore, we design a mutual learning scheme to augment hybrid transformation by applying feature mimicking. Notably, extensive experiments demonstrate that with negligible extra overhead, HFT achieves a relative improvement of 13.3% on the Argoverse dataset and 16.8% on the KITTI 3D Object datasets compared to the best-performing existing method. The codes are available at https://github.com/JiayuZou2020/HFT.

研究动机与目标

• 为解决现有基于相机模型的（CBFT）与无相机模型的（CFFT）特征转换方法在BEV语义分割中的局限性。
• 分析CBFT中的几何先验与CFFT中的全局空间相关性在透视到BEV特征提升中的权衡关系。
• 开发一种混合框架，结合CBFT与CFFT的优势，同时缓解各自的缺陷。
• 在不平地形、上下坡及密集城市环境等复杂场景中提升BEV分割精度。
• 在计算开销可忽略的前提下实现高性能，适用于实时自动驾驶感知应用。

提出的方法

• HFT采用双分支架构：几何变换器使用IPM风格层，利用相机参数与几何先验，实现早期BEV特征估计。
• 全局变换器分支通过MLP或注意力机制建模长距离空间依赖，无需几何假设。
• 两分支在特征转换阶段解耦，支持对场景布局不同方面的专业化学习。
• 通过损失函数（L2损失被证明最优）在两分支间应用互学习，借助知识蒸馏增强特征表示。
• 框架在单目RGB图像上端到端训练，监督信号来自BEV真实标注。
• 方法在五个基准上进行评估，包括nuScenes、Argoverse和KITTI数据集，采用标准mIoU指标。

实验结果

研究问题

• RQ1 CBFT中的几何先验与CFFT中的全局空间相关性如何影响BEV语义分割性能？
• RQ2 结合CBFT与CFFT组件的混合架构是否能超越现有最先进方法？
• RQ3 几何变换器与全局变换器之间的互学习是否能提升特征表示与分割精度？
• RQ4 与CBFT相比，HFT在地平面以上区域的失真程度降低了多少？
• RQ5 HFT能否在保持低计算成本的同时维持高精度，以支持实时部署？

主要发现

• 在Argoverse数据集上，HFT相较于最佳现有方法实现13.3%的相对mIoU提升。
• 在KITTI 3D Object数据集上，HFT相较于最先进方法实现16.8%的相对mIoU提升。
• L2损失函数在互学习中表现最佳，在nuScenes上达到21.3%的mIoU，较基线提升10.4%。
• HFT显著提升了物体边界的清晰度，尤其在城市交叉口和不平地形等密集复杂场景中。
• HFT有效应对上下坡斜坡与高架结构等挑战性场景，其中CBFT易产生失真，而CFFT缺乏几何归纳偏置。
• 该框架保持高效率，计算开销可忽略，适用于实时自动驾驶感知。