[論文レビュー] PanoOcc: Unified Occupancy Representation for Camera-based 3D Panoptic Segmentation

Yuqi Wang, Yuntao Chen+3 more|arXiv (Cornell University)|Jun 16, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

PanoOccは、カメラベースの3Dパンタピックセグメンテーションのための統一的オカペイシティ表現を提案し、粗いから細かい段階への学習スキームを用いてボクセルクエリを活用することで、複数フレーム・複数視点の画像特徴を1つの効率的な3Dオカペイシティ予測に統合する。この手法は、nuScenesで71.7 mIoUおよび0.324 NDSの最先端性能を達成するとともに、活性でないボクセルを削除するオカペイシティスパース化モジュールを導入し、メモリ使用量を5%にまで削減する。

ABSTRACT

Comprehensive modeling of the surrounding 3D world is key to the success of autonomous driving. However, existing perception tasks like object detection, road structure segmentation, depth & elevation estimation, and open-set object localization each only focus on a small facet of the holistic 3D scene understanding task. This divide-and-conquer strategy simplifies the algorithm development procedure at the cost of losing an end-to-end unified solution to the problem. In this work, we address this limitation by studying camera-based 3D panoptic segmentation, aiming to achieve a unified occupancy representation for camera-only 3D scene understanding. To achieve this, we introduce a novel method called PanoOcc, which utilizes voxel queries to aggregate spatiotemporal information from multi-frame and multi-view images in a coarse-to-fine scheme, integrating feature learning and scene representation into a unified occupancy representation. We have conducted extensive ablation studies to verify the effectiveness and efficiency of the proposed method. Our approach achieves new state-of-the-art results for camera-based semantic segmentation and panoptic segmentation on the nuScenes dataset. Furthermore, our method can be easily extended to dense occupancy prediction and has shown promising performance on the Occ3D benchmark. The code will be released at https://github.com/Robertwyq/PanoOcc.

研究の動機と目的

• 現在の3D認識タスク（例：検出、セグメンテーション）の断片的な性質を解消し、単一の3Dオカペイシティ表現の下で統合すること。
• LiDARに依存せずに、単眼・複数視点のカメラ入力からの包括的3Dシーン理解を可能にすること。
• 3Dオカペイシティ学習におけるメモリ非効率性を克服し、スパarsityを導入した粗いから細かいボクセルクエリメカニズムを提案すること。
• 統一的オカペイシティ予測フレームワーク内で、オブジェクト検出とセマンティックセグメンテーションを同時に最適化すること。

提案手法

• PanoOccは、粗いから細かい段階へのアプローチを用いて、複数フレーム・複数視点の画像から空間的・時間的特徴をボクセルクエリに集約し、効率的な3D特徴学習を実現する。
• モデルはトランスフォーマーに基づくアーキテクチャを用いて、視点および時間軸に跨る特徴に注目し、段階的にオカペイシティ表現を精緻化する。
• オカペイシティスパース化モジュールを導入し、アップサンプリング段階で非活性ボクセルを削除することで、最大95%（元の5%に留まる）のメモリ消費量削減を実現する。
• マルチタスク損失（ファーコン損失、Lovász-Softmax、およびトゥイング・スペシフィック損失）を用いて、検出、セマンティックセグメンテーション、オカペイシティ予測を同時に最適化する。
• 空間的効率を維持しながら幾何的詳細を保持するため、アップサンプリングパスでスパースデコンボリューションを活用する。
• ボクセル表現の教師付き学習として、スパースLiDARポイントラベルをエンドツーエンドで用いる。

Figure 1: Comparison of different tasks for 3D scene understanding. (a) LiDAR panoptic segmentation: Given sparse LiDAR points as input, the model outputs panoptic prediction on sparse LiDAR points. (b) Camera Detection and Segmentation: Given multi-view images, separate models are used to detect ob

実験結果

リサーチクエスチョン

• RQ1 複数視点のカメラ入力からオブジェクト検出とセマンティックセグメンテーションを統一的3Dオカペイシティ表現で効果的に統合できるか？
• RQ2 性能を損なわず、3Dオカペイシティ予測におけるメモリ効率をどのように向上させられるか？
• RQ3 時間的モデリングは、オートバイやトレーラーのような隠蔽されたオブジェクトの検出・セグメンテーションにどの程度向上効果をもたらすか？
• RQ4 粗いから細かいボクセルクエリメカニズムは、従来の3Dボクセルグリッドやトライプレーン表現に比べ、精度および効率性で優れているか？
• RQ5 提案されたスパース化戦略は、3Dオカペイシティ学習におけるメモリフットプリントを大幅に削減しながらも、高い性能を維持できるか？

主な発見

• PanoOccは、nuScenesデータセットで71.7%のmIoUおよび0.324のNDSという、これまでにない最先端の性能を達成し、TPVFormer-Baseを上回った。
• 推論時のメモリ使用量を24G（推論時）および6.0G（推論時）にまで削減し、TPVFormer-Baseの33.5Gを下回った。また、推論遅延も20%高速化され、203ms（PanoOcc）対268ms（TPVFormer-Base）となった。
• オカペイシティスパース化モジュールにより、活性ボクセル数が元の5%にまで削減され、性能に劣化を来さずに顕著なメモリ効率向上が達成された。
• 時間的モデリングにより、オートバイのmIoUが11.7ポイント、トレーラーのmIoUが8.2ポイント向上し、特に隠蔽されたオブジェクトの認識性能が顕著に向上した。
• アブレーションスタディにより、Lovász-Softmax損失が極めて重要であることが確認され、その除去によりmIoUが65.6から59.6に低下した。
• 最適な損失重み設定はλ₁=10.0、λ₂=10.0、λ₃=5.0であり、これによりmIoU（66.1%）およびNDS（0.324）が最高値を記録した。

Figure 2: The overall framework of PanoOcc. We employ an image backbone network to extract multi-scale features for multi-view images at multi-frames. Then we apply voxel queries to learn the voxel features via View Encoder . The Temporal Encoder aligns the previous voxel features into the current f