[論文レビュー] Fully Sparse 3D Occupancy Prediction

Haisong Liu, Chen Yang+7 more|arXiv (Cornell University)|Dec 28, 2023

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

本稿では、スパースボクセルデコーダーとスパースインスタンスクエリを用いて幾何的およびインスタンススパarsityを活用する、完全スパースなパノプティック3Dオブザーバビリティ予測モデルであるSparseOccを提案する。Occ3D-nusにおいて25.4 FPSで26.0 mIoUを達成し、8フレームの時系列モデリングを用いることでさらに30.9 mIoUに向上し、装飾なしで速度と精度の両面で新たなSOTAを樹立した。

ABSTRACT

Occupancy prediction plays a pivotal role in autonomous driving. Previous methods typically construct dense 3D volumes, neglecting the inherent sparsity of the scene and suffering from high computational costs. To bridge the gap, we introduce a novel fully sparse occupancy network, termed SparseOcc. SparseOcc initially reconstructs a sparse 3D representation from camera-only inputs and subsequently predicts semantic/instance occupancy from the 3D sparse representation by sparse queries. A mask-guided sparse sampling is designed to enable sparse queries to interact with 2D features in a fully sparse manner, thereby circumventing costly dense features or global attention. Additionally, we design a thoughtful ray-based evaluation metric, namely RayIoU, to solve the inconsistency penalty along the depth axis raised in traditional voxel-level mIoU criteria. SparseOcc demonstrates its effectiveness by achieving a RayIoU of 34.0, while maintaining a real-time inference speed of 17.3 FPS, with 7 history frames inputs. By incorporating more preceding frames to 15, SparseOcc continuously improves its performance to 35.1 RayIoU without bells and whistles.

研究の動機と目的

• 自動運転における3Dオブザーバビリティ予測の高コストな密度型アプローチを、シーンスパarsityを活用することで是正すること。
• セマンティックおよびインスタンスレベルのオブザーバビリティ予測を統合した1つのパノプティカルフレームワークとして統合し、インスタンス認識可能な3Dオブザーバビリティを実現すること。
• 密度型3D特徴量およびグローバルアテンション機構を排除することで、完全スパースなアーキテクチャを実現すること。
• 公平な評価のため、PQ指標を用いた視覚中心のパノプティカルオブザーバビリティベンチマークを初めて確立すること。
• Occ3D-nusデータセットにおいて、精度と推論速度の両面で最先端の性能を示すこと。

提案手法

• 非フリー（占有）領域のみを再構築するスパースボクセルデコーダーを提案し、密度型3D特徴量の構築を回避することで、計算コストを顕著に削減する。
• マスクガイドドスパースサンプリングを介して2D特徴量と相互作用するスパースインスタンスクエリを導入し、マスクトランスフォーマーにおける高コストな密度型クロスアテンションを回避する。
• スパースクエリを用いたマスクトランスフォーマーを採用し、インスタンスマスクとクラスラベルを同時に予測することで、エンドツーエンドのパノプティカルオブザーバビリティ予測を実現する。
• マスクガイドドスパースサンプリングを用いることで、関連する2D特徴量にのみ効率的に注目し、スパarsityを維持しながら3Dクエリと2D特徴量間の有効な相互作用を可能にする。
• スパースボクセルデコーダーおよびマスクトランスフォーマーの両方で、過去8フレームの特徴量を統合することで時系列モデリングを組み込むことで、シーンの完成度と精度を向上させる。
• PQおよびmIoUを用いた評価に基づき、Occ3D-nusに基づく新しい視覚中心のパノプティカルオブザーバビリティベンチマークを確立する。

実験結果

リサーチクエスチョン

• RQ1 完全スパースアーキテクチャは、リアルタイム推論を維持しながらも、3Dパノプティカルオブザーバビリティ予測で高い精度を達成できるか？
• RQ2 密度型3D特徴量を排除した状態で、スパースインスタンスクエリベースの予測はオブジェクトレベルのスパarsityを効果的にモデル化できるか？
• RQ3 時系列モデリングは、スパース3Dオブザーバビリティ予測の性能をどの程度向上させるか？
• RQ4 PQ指標を用いた視覚中心のベンチマークは、従来のセマンティックのみのベンチマークよりもパノプティカルオブザーバビリティをより的確に評価できるか？
• RQ5 スパースボクセルデコーディングおよびマスクガイドドサンプリングの設計は、密度型またはスパースから密度型へのアプローチと比較して、精度と効率の両面でどのように優れているか？

主な発見

• SparseOccは、Occ3D-nusデータセットでリアルタイム推論25.4 FPSを達成し、26.0 mIoUを達成し、高い効率性と精度を示した。
• 8フレームの時系列モデリングを適用した場合、SparseOccは30.9 mIoUに向上し、データ拡張やアーキテクチャの装飾なしにSOTA性能を達成した。
• アブレーションスタディの結果、スパースボクセルデコーダーとマスクトランスフォーマーの両方が時系列統合から利益を受けることが確認され、デコーダーの寄与がより顕著であった（無効化時3.5 mIoUの低下）。
• インスタンスクエリ数を100以上に増やしても性能向上が見られず、100クエリで十分であることが示された。
• 損失関数におけるクラスウェイトのバランス調整により、mRecallが24.2から74.9に向上し、限られたボクセルトークンでもシーンを効果的にカバーできることを示した。
• モデルの性能は、累積LiDARポイントクラウドからの信頼性の低いアノテーションに対しても頑健であるが、潜在的なシーン完成エラーのため、依然として限界である。