[論文レビュー] UniOcc: Unifying Vision-Centric 3D Occupancy Prediction with Geometric and Semantic Rendering

Mingjie Pan, Li Liu+7 more|arXiv (Cornell University)|Jun 15, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

UniOccは、2次元画像からの幾何的および意味的監視を体積レンダリングを用いて統合することで、高価な3次元アノテーションに依存することを減らす、視覚中心の3次元占有予測の統合フレームワークを提案する。レイサンプリングを用いて3次元ボクセル特徴から深度と意味的ログチットをレンダリングすることで、単一のモデルでnuScenesベンチマークで51.27%のmIoUを達成し、CVPR 2023コンテストで3位を獲得した。

ABSTRACT

In this technical report, we present our solution, named UniOCC, for the Vision-Centric 3D occupancy prediction track in the nuScenes Open Dataset Challenge at CVPR 2023. Existing methods for occupancy prediction primarily focus on optimizing projected features on 3D volume space using 3D occupancy labels. However, the generation process of these labels is complex and expensive (relying on 3D semantic annotations), and limited by voxel resolution, they cannot provide fine-grained spatial semantics. To address this limitation, we propose a novel Unifying Occupancy (UniOcc) prediction method, explicitly imposing spatial geometry constraint and complementing fine-grained semantic supervision through volume ray rendering. Our method significantly enhances model performance and demonstrates promising potential in reducing human annotation costs. Given the laborious nature of annotating 3D occupancy, we further introduce a Depth-aware Teacher Student (DTS) framework to enhance prediction accuracy using unlabeled data. Our solution achieves 51.27\% mIoU on the official leaderboard with single model, placing 3rd in this challenge.

研究の動機と目的

• 3次元占有予測における高価な3次元意味的アノテーションへの依存を、安価な2次元セグメンテーションラベルを活用することで低減すること。
• 体積レンダリングを通じて幾何的隠蔽制約と意味的整合性を統合することで、モデル性能を向上させること。
• Depth-aware Teacher-Studentフレームワークを用いて、ラベルなしデータを自己教師学習で活用できること。
• 推論時増強と改善された特徴表現を用いることで、モデルの汎化性とロバスト性を向上させること。
• アーキテクチャの再設計なしに、視覚中心の3次元占有予測ベンチマークで最先端の性能を達成すること。

提案手法

• 密度（σ）と意味的ログチット（s）のための別個のMLPを用いて、3次元ボクセル予測をNeRF風の表現に変換する。
• 2次元画像ピクセルからのレイに沿った体積レンダリングを用い、アルファコンポジティングによりレンダリング深度Dと意味的ログチットSを生成する。
• 幾何的整合性と隠蔽関係を強制するために、レンダリング深度にScale-Invariant Logarithmic（SILog）損失を適用する。
• LiDARプロジェクションからのスパarsityな2次元深度および意味的ラベルを、レンダリングピクセルの監視ターゲットとして用い、学習中はラベル付きピクセルにのみ注目する。
• 教師モデルからの深度予測を強化することで、ラベルなしデータにおける自己教師学習の安定性を高めるDepth-aware Teacher-Student（DTS）フレームワークを導入する。
• 推論時増強（TTA）を画像および鳥瞰図レベルで水平および垂直反転を適用することで、推論のロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 体積レンダリングを介した2次元監視が、高価な3次元占有アノテーションに代わって性能を維持または向上させることができるか？
• RQ2 レンダリング深度を通じた幾何的制約の統合が、3次元占有予測にどのように寄与するか？
• RQ3 DTSフレームワークを用いた自己教師学習が、ラベルなしデータを効果的に活用して性能を向上させることができるか？
• RQ4 SAMのような高度な2次元アノテーションツールは、3次元シーン理解における2次元意味的アノテーションコストをどの程度低減できるか？
• RQ5 高解像度ボクセルや強力なバックボーンといったアーキテクチャ的強化が、占有予測精度に与える影響は何か？

主な発見

• UniOccは単一のモデルでnuScenesテストセットで51.27%のmIoUを達成し、CVPR 2023 3D Occupancy Prediction Challengeで3位を獲得した。
• 3次元ラベルを一切使用しない体積レンダリング監視のみで学習したモデルが、3次元ラベル監視で学習したモデルを上回る性能を示し、2次元ベースの学習の有効性を実証した。
• BEVStereoベースラインにおいて、レンダリング監視のみで20.2 mIoUを達成し、3次元ラベル監視のみで得られる19.6 mIoUを上回った。
• すべてのモジュール（可視性マスク、強化されたバックボーン、高解像度、TTA、DTS）を備えた完全なモデルは、バリデーションスプリットで52.1 mIoUを達成した。
• DTSフレームワークにより、教師モデルからの深度予測が強化され、ラベルなしデータにおける一般化性能が向上し、自己教師学習の安定性が確保された。
• ConvNeXt-Baseを採用し、ボクセル解像度を0.32m（250×250×20）に引き上げることで性能が顕著に向上し、より豊かな特徴表現の恩恵が明らかになった。