[論文レビュー] OctreeOcc: Efficient and Multi-Granularity Occupancy Prediction Using Octree Queries

Yuhang Lu, Xinge Zhu+2 more|arXiv (Cornell University)|Dec 6, 2023

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

OctreeOccは、適応的オクソトリークエリを用いた新しい3次元占有予測フレームワークを提案する。これにより、複数スケールのシーン表現が可能となり、計算負荷を著しく削減しながら精度を向上させる。意味的ガイド付き初期化と反復的構造補正を統合することで、nuScenesおよびSemanticKITTIにおいて、従来の密行列法と比較して15%〜24%低い計算コストで最先端の性能を達成する。

ABSTRACT

Occupancy prediction has increasingly garnered attention in recent years for its fine-grained understanding of 3D scenes. Traditional approaches typically rely on dense, regular grid representations, which often leads to excessive computational demands and a loss of spatial details for small objects. This paper introduces OctreeOcc, an innovative 3D occupancy prediction framework that leverages the octree representation to adaptively capture valuable information in 3D, offering variable granularity to accommodate object shapes and semantic regions of varying sizes and complexities. In particular, we incorporate image semantic information to improve the accuracy of initial octree structures and design an effective rectification mechanism to refine the octree structure iteratively. Our extensive evaluations show that OctreeOcc not only surpasses state-of-the-art methods in occupancy prediction, but also achieves a 15%-24% reduction in computational overhead compared to dense-grid-based methods.

研究の動機と目的

• 特に広大な空領域を有するスパースな3次元シーンにおいて、密行列による3次元占有予測の高い計算コストを低減すること。
• 固定解像度ボクセルグリッドの限界を克服し、物体サイズや空間複雑性の変化に適応できない点を改善すること。
• オクソトリーの階層的性質を活用して、変動する解像度表現を可能にし、小さな物体の空間的詳細を保持するとともに、空領域の計算を削減すること。
• 2次元画像からの意味的プライアを統合し、低信頼度領域を反復的に精緻化することで、初期オクソトリー構造予測を向上させること。
• オクソトリーに基づくクエリメカニズムが、精度と効率の両面で密行列ベースラインを上回ることを実証すること。

提案手法

• 階層的オクソトリー構造に基づき、動的に3次元クエリを構築するオクソトリークエリメカニズムを提案し、複数スケールの特徴集約を可能にする。
• 画像の意味的特徴をプライアとして活用することで、正確な初期オクソトリー構造を生成する「意味的ガイド付きオクソトリー初期化」を導入する。
• エンコードされたクエリから補正を予測することで、低信頼度領域に焦点を当ててオクソトリー構造を精緻化する「反復的構造補正モジュール」を設計する。
• シーンの複雑さやオブジェクトの粒度分布に応じて、各オクソトリー段階ごとのクエリ数を調整できる学習可能なクエリ選択戦略を採用する。
• 各オクソトリー段階のリーフノード特徴からクエリを構築し、スパースでありながらも効果的な3次元特徴表現を実現し、メモリ使用量を削減する。
• ボクセル単位の占有予測に対して交差エントロピー損失を用いて、教師データの占有ラベルによる監視のもとで、モデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 オクソトリーに基づくクエリメカニズムは、3次元占有予測において、密行列表現よりも効率的かつ正確に動作するか？
• RQ2 2次元画像からの意味的ガイドは、3次元シーン理解の向上に向け、オクソトリー構造の初期化にどの程度有効か？
• RQ3 オクソトリー構造の反復的補正は、予測精度と耐障害性をどの程度向上させるか？
• RQ4 異なるオクソトリー段階におけるクエリ選択比の最適なバランスは何か？性能を最大化しつつ計算コストを最小化できるか？
• RQ5 オクソトリーの深さを変化させると、メモリ使用量、推論速度、予測精度のトレードオフにどのような影響を与えるか？

主な発見

• OctreeOccは、nuScenesおよびSemanticKITTIベンチマークにおいて、従来の密行列法およびスパースベースラインを上回る最先端のmIoU性能を達成した。
• 密行列ベースの手法と比較して、計算負荷を15%〜24%削減し、A40 GPU上で25%のクエリ選択比を用いた場合の推論遅延は220msであった。
• 意味的ガイド付きオクソトリー初期化モジュールは、ランダム初期化と比較して1.7 mIoUの性能向上を示し、構造予測における意味的プライアの価値を裏付けた。
• 反復的構造補正モジュールは、オクソトリー品質を向上させたことが視覚化で確認され、修正後の構造がシーンの幾何形状とより整合的であることが示された。
• 最適なクエリ比はオクソトリー段階ごとに異なる：過剰な細粒度クエリは性能を低下させ、粗粒度領域の過剰モデリングは効率性を低下させる。
• 適応的クエリ選択を用いた深いオクソトリー構造（例：200×200×16）は、密クエリと比較して高い性能を発揮しながら、ベースライン手法の80GBを超える過剰なメモリ使用を回避した。