[論文レビュー] PointOcc: Cylindrical Tri-Perspective View for Point-based 3D Semantic Occupancy Prediction

Sicheng Zuo, Wenzhao Zheng+3 more|arXiv (Cornell University)|Aug 31, 2023

3D Shape Modeling and Analysis被引用数 8

ひとこと要約

PointOcc は Cylindrical Tri-Perspective View (Cylindrical TPV) を導入し、LiDAR 点群を 2D 画像バックボーンで処理して密な 3D セマンティック占有を予測します。LiDAR のみで最先端の結果を達成し、速度も向上します。

ABSTRACT

Semantic segmentation in autonomous driving has been undergoing an evolution from sparse point segmentation to dense voxel segmentation, where the objective is to predict the semantic occupancy of each voxel in the concerned 3D space. The dense nature of the prediction space has rendered existing efficient 2D-projection-based methods (e.g., bird's eye view, range view, etc.) ineffective, as they can only describe a subspace of the 3D scene. To address this, we propose a cylindrical tri-perspective view to represent point clouds effectively and comprehensively and a PointOcc model to process them efficiently. Considering the distance distribution of LiDAR point clouds, we construct the tri-perspective view in the cylindrical coordinate system for more fine-grained modeling of nearer areas. We employ spatial group pooling to maintain structural details during projection and adopt 2D backbones to efficiently process each TPV plane. Finally, we obtain the features of each point by aggregating its projected features on each of the processed TPV planes without the need for any post-processing. Extensive experiments on both 3D occupancy prediction and LiDAR segmentation benchmarks demonstrate that the proposed PointOcc achieves state-of-the-art performance with much faster speed. Specifically, despite only using LiDAR, PointOcc significantly outperforms all other methods, including multi-modal methods, with a large margin on the OpenOccupancy benchmark. Code: https://github.com/wzzheng/PointOcc.

研究の動機と目的

• dense 3D semantic occupancy prediction を動機づけ、2D 投影での情報喪失を克服する。
• Cylindrical TPV を提案し、LiDAR の点密度分布により良く一致させる。
• 2D バックボーンと共有 TPV エンコード–デコードを用いて処理を効率化する。
• 後処理不要のフレームワークを提供し、高解像度の 3D occupancy および LiDAR segmentation 結果を得る。

提案手法

• LiDAR 点を Cylindrical TPV 平面へ変換し、円筒分割と空間グルーピングプーリングで 3D 構造を保持する。
• 各 TPV 平面を共有の 2D バックボーンと FPN でエンコードし、マルチスケール特徴を抽出する。
• 三つの TPV 平面へ点/体素を投影し、補間特徴を足し合わせて各点の特徴をクエリする。
• 後処理なしでセマンティック占有/セグメンテーションのための単純な 2 層 MLP ヘッドを使用する。

実験結果

リサーチクエスチョン

• RQ1 heavy な 3D 畳み込みを用いず、dense 3D semantic occupancy prediction のために LiDAR 点群をどのように効果的に表現できるか。
• RQ2 Cylindrical TPV は Cartesian TPV や単一ビュー投影よりも近場の詳細と全体的な 3D 構造をより良く捉えるか。
• RQ3 画像で事前学習した 2D バックボーンは TPV 特徴を与えると高品質な 3D semantic 予測を効率的に提供できるか。
• RQ4 TPV 解像度、グルーピングサイズ、計算量と精度のトレードオフはどうなるか。
• RQ5 PointOcc は voxel ベース法や他の 2D 投影法と比較して OpenOccupancy および LiDAR segmentation ベンチマークでどの程度の性能を示すか。

主な発見

• PointOcc は LiDAR のみで OpenOccupancy において最先端の性能を達成し、マルチモーダル手法を顕著に上回る（OpenOccupancy バリデーションで mIoU 23.9、IoU 34.1）。
• nuScenes の LiDAR segmentation では、PointOcc はすべての 2D 投影ベース手法を上回り、voxel ベース手法と競合する（例：ImageNet-1K 事前学習 ViT バックボーン使用時の mIoU 77.9）。
• 最良の結果は三つの TPV 平面（HW、WD、DH）をすべて組み合わせたときに得られ、平面間で補完的な情報を示す。
• より高い TPV 解像度は性能向上をもたらし、空間グルーピングプーリング（K=16）は構造的な詳細を保ちながらコストを抑える。
• ImageNet-1K/21K で事前学習した ViT バックボーンの使用が性能を向上させ、LiDAR segmentation 時に部分的な ViT 重みを凍結することで高精度を維持できる。