[論文レビュー] SPOT-Occ: Sparse Prototype-guided Transformer for Camera-based 3D Occupancy Prediction

Suzeyu Chen, Leheng Li+1 more|arXiv (Cornell University)|Feb 4, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

SPOT-Occは、密なクロスアテンションを置換する2段階のプロトタイプ選択と集約、およびノイズ除去トレーニングパラダイムを備えたSparse Prototype-guided Transformer Decoderを導入し、カメラベースの3D占有ベンチマークで精度を向上させつつ待ち時間を大幅に低減します。

ABSTRACT

Achieving highly accurate and real-time 3D occupancy prediction from cameras is a critical requirement for the safe and practical deployment of autonomous vehicles. While this shift to sparse 3D representations solves the encoding bottleneck, it creates a new challenge for the decoder: how to efficiently aggregate information from a sparse, non-uniformly distributed set of voxel features without resorting to computationally prohibitive dense attention. In this paper, we propose a novel Prototype-based Sparse Transformer Decoder that replaces this costly interaction with an efficient, two-stage process of guided feature selection and focused aggregation. Our core idea is to make the decoder's attention prototype-guided. We achieve this through a sparse prototype selection mechanism, where each query adaptively identifies a compact set of the most salient voxel features, termed prototypes, for focused feature aggregation. To ensure this dynamic selection is stable and effective, we introduce a complementary denoising paradigm. This approach leverages ground-truth masks to provide explicit guidance, guaranteeing a consistent query-prototype association across decoder layers. Our model, dubbed SPOT-Occ, outperforms previous methods with a significant margin in speed while also improving accuracy. Source code is released at https://github.com/chensuzeyu/SpotOcc.

研究の動機と目的

• カメラデータからのリアルタイム自動運転のための効率的な3D占有予測を動機づける。
• 密な3D表現のデコーダーボトルネックを、コンパクトなボクセルプロトタイプ集合に対してアテンションを適合させることで解決する。
• ノイズ除去トレーニングを通じて安定した監 supervision を得る2段階のプロトタイプ-guidedデコードプロセスを提案する。
• nuScenes-OccupancyとSemanticKITTIのベンチマークで精度と遅延の改善を実証する。

提案手法

• コストの高い密なクロスアテンションを置換するSparse Prototype-guided Transformer Decoder (SPOT-Occ) を導入する。
• Deformable Top-ρ Selectionを実装し、各クエリごとにhead間でTop-ρの顕著なボクセルプロトタイプを選択する。
• プロトタイプ-guided 集約をゲート更新で計算し、クエリを洗練させる。
• トレーニング中にDenoising Headを適用して、推論オーバーヘッドを発生させずにクエリとプロトタイプの関連を安定化させる。
• ビュー変換器の学習ではマッチング損失、ノイズ除去損失、深度損失を含む複合損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 疎でプロトタイプ guid 指向のデコーダーは、密集またはマスク付きアテンションデコーダよりも同等またはそれ以上の3D占有精度を達成できるか。
• RQ2 ノイズ除去トレーニングパラダイムは、推論コストを増加させることなくデコーダ層全体でクエリ-プロトタイプの関連を安定化できるか。
• RQ3 3D占有のための疎なクロスアテンションにおけるプロトタイプ比と精度/レイテンシのトレードオフはどうなるか。
• RQ4 SPOT-Occは標準的なカメラベース占有ベンチマークで最先端手法と比べてどう機能するか。

主な発見

• SPOT-OccはnuScenes-Occupancyの検証で13.7% mIoUを達成し、SparseOccの13.2%およびGaussianFormer-2の13.4%を上回る。
• SPOT-OccはnuScenes-OccupancyベンチマークでGaussianFormer-2と比較して推論レイテンシを57.6%短縮。
• SemanticKITTIではSPOT-Occが13.27%のmIoUを達成し、リストされたカメラベース占有法の中で最も高い。
• アブレーションはSparse Prototype-guided Cross-Attention (SPOT-CA)がmIoUを向上させ、レイテンシを削減することを示し、Denoising (DN) トレーニングが学習をさらに安定化。
• SPOT-CAとDNを組み合わせると、アブレーションで最も良い全体性能（13.27% mIoU）と遅延の削減（164 ms）を達成する。