[論文レビュー] FlashOcc: Fast and Memory-Efficient Occupancy Prediction via Channel-to-Height Plugin

Zichen Yu, Changyong Shu+7 more|arXiv (Cornell University)|Nov 18, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

FlashOccは、鳥眼視点（BEV）特徴空間における3次元畳み込みを2次元畳み込みに置き換えることで、即座に統合可能なフレームワークを提案する。さらに、チャネルから高さへの変換を適用して3次元占有度ログィットを生成する。nuScenesベンチマークにおいて、ベースライン比で推論速度が58.7%高速化され、メモリ使用量が68.8%低減され、最大6.1 mIoUの向上を達成し、最先端の性能を実現した。

ABSTRACT

Given the capability of mitigating the long-tail deficiencies and intricate-shaped absence prevalent in 3D object detection, occupancy prediction has become a pivotal component in autonomous driving systems. However, the procession of three-dimensional voxel-level representations inevitably introduces large overhead in both memory and computation, obstructing the deployment of to-date occupancy prediction approaches. In contrast to the trend of making the model larger and more complicated, we argue that a desirable framework should be deployment-friendly to diverse chips while maintaining high precision. To this end, we propose a plug-and-play paradigm, namely FlashOCC, to consolidate rapid and memory-efficient occupancy prediction while maintaining high precision. Particularly, our FlashOCC makes two improvements based on the contemporary voxel-level occupancy prediction approaches. Firstly, the features are kept in the BEV, enabling the employment of efficient 2D convolutional layers for feature extraction. Secondly, a channel-to-height transformation is introduced to lift the output logits from the BEV into the 3D space. We apply the FlashOCC to diverse occupancy prediction baselines on the challenging Occ3D-nuScenes benchmarks and conduct extensive experiments to validate the effectiveness. The results substantiate the superiority of our plug-and-play paradigm over previous state-of-the-art methods in terms of precision, runtime efficiency, and memory costs, demonstrating its potential for deployment. The code will be made available.

研究の動機と目的

• 自動運転システムにおける3次元ボクセルベースの占有度予測の高コストなメモリと計算コストを低減すること。
• オンチップ統合を妨げる3次元畳み込みやトランスフォーマー基盤モジュールの制限を克服すること。
• 多様な既存の占有度予測モデルと互換性を持つ汎用的で即座に統合可能なソリューションの開発。
• 推論遅延とメモリ消費量を大幅に削減しながらも、高い精度を維持すること。
• アーキテクチャの再設計なしに、多様なハードウェアプラットフォームへの効率的なデプロイを可能にすること。

提案手法

• 既存のボクセルベースの占有度予測モデルに内蔵された3次元畳み込み層を、鳥眼視点（BEV）特徴上で動作する効率的な2次元畳み込み層に置き換える。
• 各BEVピクセルがピラーレベルの高さ情報を符号化するBEV表現において、空間的およびチャネルレベルの情報を保持する。
• フラット化されたBEV特徴を3次元ボクセルレベルの占有度ログィットに再形状するためのチャネルから高さへの変換を導入する。
• サブピクセル畳み込みの原理（チャネル再配置）を活用し、3次元演算を一切行わずに2次元特徴を3次元空間に効率的にアップサンプリングする。
• 既存のモデルにプラグインとして適用し、BEVエンコーダーと占有度ヘッドのコンponentsのみを変更する。
• 時間的統合モジュールとの互換性を確保するため、フレーム間で特徴の一貫性を維持する。

Figure 1 : The diagram illustrates the overarching architecture of our FlashOcc, which is best viewed in color and with zoom functionality. The region designated by the dashed box indicates the presence of replaceable modules. The feature shapes of each replaceable module are denoted by icons repres

実験結果

リサーチクエスチョン

• RQ1 即座に統合可能なモジュールが、3次元畳み込みを置き換えても精度を維持または向上できるか。
• RQ2 チャネルから高さへの変換が、2次元BEV特徴から3次元空間的情報をどの程度正確に保持できるか。
• RQ3 提案手法が、3次元畳み込みベースのベースラインと比較して、メモリ使用量と推論遅延をどの程度低減できるか。
• RQ4 この手法が、異なるバックボーンアーキテクチャや時間的モデリング戦略に一般化できるか。
• RQ5 リソース制限のあるエッジデバイスに、このフレームワークがデプロイ可能で高い性能を発揮できるか。

主な発見

• BEVDetOcc上で、BEVエンコーダーと占有度ヘッドの推論時間が58.7%短縮され、7.5 msから3.1 msに低下した。
• BEVDetOccにおける推論時メモリ使用量は68.8%削減され、398 MiBから124 MiBに低下した。
• nuScenesベンチマークにおいて、時間的統合を適用した場合、ベースラインのUniOccと比較して6.1 mIoUの向上を達成した。
• 非時間的および時間的バージョンのBEVDetOccに対して、それぞれ0.8点および1.7点のmIoU向上を達成し、元の手法と比較した。
• 非時間的および時間的設定において、それぞれ50%（64から32エポック）および42%（144から84エポック）の訓練時間短縮を達成した。
• 可視化と一貫した性能向上から、チャネルから高さへの変換が高さ情報を効果的に保持していることが確認された。

Figure 2 : Qualitative results on Occ3D-nuScenes. Note that the perception range in Occ3D-nuScenes spans from -40m to 40m along the X and Y axes, and from -1m to 5.4m along the Z axis. Consequently, objects located outside of this range are not predicted.