[论文解读] FlashOcc: Fast and Memory-Efficient Occupancy Prediction via Channel-to-Height Plugin

Zichen Yu, Changyong Shu+7 more|arXiv (Cornell University)|Nov 18, 2023

Advanced Neural Network Applications被引用 4

一句话总结

FlashOcc 通过在鸟瞰图（BEV）特征空间中用 2D 卷积替换 3D 卷积，并应用通道到高度的变换以生成 3D 占位逻辑，提出了一种即插即用的框架，实现了快速且内存高效的 3D 占位预测。在 nuScenes 数据集上，其推理速度比基线模型快 58.7%，内存使用量降低 68.8%，mIoU 最高提升 6.1%，性能达到当前最先进水平。

ABSTRACT

Given the capability of mitigating the long-tail deficiencies and intricate-shaped absence prevalent in 3D object detection, occupancy prediction has become a pivotal component in autonomous driving systems. However, the procession of three-dimensional voxel-level representations inevitably introduces large overhead in both memory and computation, obstructing the deployment of to-date occupancy prediction approaches. In contrast to the trend of making the model larger and more complicated, we argue that a desirable framework should be deployment-friendly to diverse chips while maintaining high precision. To this end, we propose a plug-and-play paradigm, namely FlashOCC, to consolidate rapid and memory-efficient occupancy prediction while maintaining high precision. Particularly, our FlashOCC makes two improvements based on the contemporary voxel-level occupancy prediction approaches. Firstly, the features are kept in the BEV, enabling the employment of efficient 2D convolutional layers for feature extraction. Secondly, a channel-to-height transformation is introduced to lift the output logits from the BEV into the 3D space. We apply the FlashOCC to diverse occupancy prediction baselines on the challenging Occ3D-nuScenes benchmarks and conduct extensive experiments to validate the effectiveness. The results substantiate the superiority of our plug-and-play paradigm over previous state-of-the-art methods in terms of precision, runtime efficiency, and memory costs, demonstrating its potential for deployment. The code will be made available.

研究动机与目标

• 解决自动驾驶系统中基于 3D 体素的占位预测所面临的高内存和计算成本问题。
• 克服 3D 卷积和基于 Transformer 的模块在芯片级部署中带来的限制。
• 开发一种通用、即插即用的解决方案，兼容多种现有的占位预测模型。
• 在大幅降低推理延迟和内存消耗的同时保持高精度。
• 实现在无需架构重构的前提下，跨多种硬件平台的高效部署。

提出的方法

• 将现有基于体素的占位预测模型中的 3D 卷积层，替换为在鸟瞰图（BEV）特征上运行的高效 2D 卷积层。
• 在 BEV 表示中保留空间和通道级别的信息，其中每个 BEV 像素编码支柱级别的高度信息。
• 引入通道到高度的变换，将展平后的 BEV 特征重塑为 3D 体素级别的占位逻辑。
• 利用子像素卷积原理（通道重排）高效地将 2D 特征上采样至 3D 空间，而无需使用 3D 操作。
• 作为插件模块应用于现有模型，仅修改 BEV 编码器和占位头组件。
• 通过在帧间保持特征一致性，确保与时间融合模块的兼容性。

Figure 1 : The diagram illustrates the overarching architecture of our FlashOcc, which is best viewed in color and with zoom functionality. The region designated by the dashed box indicates the presence of replaceable modules. The feature shapes of each replaceable module are denoted by icons repres

实验结果

研究问题

• RQ1 一个即插即用的模块是否能在保持或提升精度的前提下替代占位预测中的 3D 卷积？
• RQ2 通道到高度的变换在多大程度上能够从 2D BEV 特征中保留 3D 空间信息？
• RQ3 与基于 3D 卷积的基线模型相比，所提方法在内存和推理延迟方面降低了多少？
• RQ4 该方法是否在不同主干网络架构和时间建模策略下均具有泛化能力？
• RQ5 该框架是否能在资源受限的边缘设备上实现高性能且可部署？

主要发现

• 在 BEVDetOcc 上，FlashOcc 将 BEV 编码器和占位头的推理时间从 7.5 ms 降低至 3.1 ms，减少 58.7%。
• 在 BEVDetOcc 上，推理期间的内存消耗从 398 MiB 降低至 124 MiB，减少 68.8%。
• 在 nuScenes 基准测试中，使用时间融合时，FlashOcc 相较于基线模型 UniOcc 实现了 6.1 mIoU 的提升。
• 与原始方法相比，FlashOcc 在非时间模型和时间模型变体的 BEVDetOcc 上，分别实现了 mIoU 提升 0.8 和 1.7 个百分点。
• 训练时长在非时间设置下减少 50%（从 64 个周期降至 32 个周期），在时间设置下减少 42%（从 144 个周期降至 84 个周期）。
• 可视化结果和一致的性能提升证实，通道到高度的变换成功保留了高度信息。

Figure 2 : Qualitative results on Occ3D-nuScenes. Note that the perception range in Occ3D-nuScenes spans from -40m to 40m along the X and Y axes, and from -1m to 5.4m along the Z axis. Consequently, objects located outside of this range are not predicted.