[論文レビュー] PVT-SSD: Single-Stage 3D Object Detector with Point-Voxel Transformer

Honghui Yang, Wenxiao Wang+6 more|arXiv (Cornell University)|May 11, 2023

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

PVT-SSD は、ポイントとボクセル表現をポイントボクセルトランスフォーマー（PVT）によって統合することで、ボクセライゼーションにおける量子化誤差とポイントベース手法におけるサンプリングのオーバーヘッドを克服するワンステージ3次元オブジェクト検出器である。入力に依存するクエリ初期化とバーチャルレンジイメージを用い、近隣探索を高速化し、KITTI、Waymo、nuScenesで最先端の性能を達成した。KITTIでは65.01 APHを達成した。

ABSTRACT

Recent Transformer-based 3D object detectors learn point cloud features either from point- or voxel-based representations. However, the former requires time-consuming sampling while the latter introduces quantization errors. In this paper, we present a novel Point-Voxel Transformer for single-stage 3D detection (PVT-SSD) that takes advantage of these two representations. Specifically, we first use voxel-based sparse convolutions for efficient feature encoding. Then, we propose a Point-Voxel Transformer (PVT) module that obtains long-range contexts in a cheap manner from voxels while attaining accurate positions from points. The key to associating the two different representations is our introduced input-dependent Query Initialization module, which could efficiently generate reference points and content queries. Then, PVT adaptively fuses long-range contextual and local geometric information around reference points into content queries. Further, to quickly find the neighboring points of reference points, we design the Virtual Range Image module, which generalizes the native range image to multi-sensor and multi-frame. The experiments on several autonomous driving benchmarks verify the effectiveness and efficiency of the proposed method. Code will be available at https://github.com/Nightmare-n/PVT-SSD.

研究の動機と目的

• ポイントベースとボクセルベースの3次元検出器の限界を解決する：ポイント手法における高いサンプリングコストとボクセル手法における量子化誤差。
• ボクセルからの長距離コンテキストとポイントからの高精度な幾何的詳細を融合することで、ポイントとボクセル表現の長所を統合する。
• 多センサおよびマルチフレーム環境における近隣探索の推論遅延を低減するため、一般化されたバーチャルレンジイメージモジュールを導入する。
• 学習可能な入力依存クエリ初期化機構により、より良い初期クエリ位置とコンテンツクエリを学習することで、検出精度を向上させる。
• 計算効率を維持したまま、主要な3次元検出ベンチマークで最先端の性能を達成する。

提案手法

• 非空の3次元ボクセルをスパース畳み込みでサンプリングし、2次元ボクセルに圧縮してから再び3次元に復元することで、参照ポイントを生成する入力に依存するクエリ初期化モジュールを提案する。
• 参照ポイントをベーシックエイドビュー（BEV）特徴マップに投影し、投影位置の特徴をインデックス化することでコンテンツクエリを生成する。
• 類似度に基づいてコンテンツクエリに適応的に重みを割り当てることで、ボクセルトークン（長距離コンテキスト用）とポイントトークン（細粒度幾何的詳細用）を交差自己注意機構で融合するポイントボクセルトランスフォーマー（PVT）モジュールを設計する。
• ネイティブLiDARレンジイメージを拡張し、マルチセンサおよびマルチフレーム統合をサポートする一般化されたバーチャルレンジイメージモジュールを導入し、レンジイメージ座標による高速かつ効率的な近隣照会を可能にする。
• 半径ベースのボールクエリに、逐次的およびランダムなサンプリング戦略を組み合わせ、ランダムサンプリングにより不均一なポイント分布の問題を回避することで性能を向上させる。
• トランスフォーマーブロックで文脈的相対位置エンコーディングを適用し、特徴表現を強化する。絶対エンコーディングやバイアスモードエンコーディングを上回る性能を発揮した。

実験結果

リサーチクエスチョン

• RQ1 ワンステージ3次元検出器は、ボクセル処理の効率性とポイント表現の精度を効果的に統合できるか？
• RQ2 非空ボクセルからのクエリ初期化は、ポイントベースのサンプリングと比較して、サンプリング時間を短縮しながらも、検出品質を維持または向上させられるか？
• RQ3 交差自己注意機構によるボクセルとポイント特徴の統合は、長距離および細粒度幾何的特徴の両方において、検出性能をどの程度向上させるか？
• RQ4 一般化されたバーチャルレンジイメージモジュールは、多様なセンサ構成およびマルチフレーム設定において近隣探索を高速化できるか？
• RQ5 異なるサンプリング戦略および位置エンコーディング方式は、提案フレームワークの最終的な検出性能にどのように影響を与えるか？

主な発見

• PVT-SSD は KITTI ベンチマークで 65.01 APH を達成し、従来手法を上回り、最先端の性能を示した。
• クエリ初期化における S-FPS 戦略は、FPS より 11.25 APH、F-FPS より 0.48 APH の向上を達成し、物体に含まれる可能性の高いボクセルを優先的に処理した。
• ポイントボクセルトランスフォーマー モジュールは、ポイントトークンにより 1.58 APH、ボクセルトークンにより 0.45 APH の寄与を示し、特徴のアライメントにより追加で 0.87 APH の向上をもたらした。
• バーチャルレンジイメージベースのボールクエリは、20万点の点群において、元のボールクエリに比べて 29.7 倍の高速化を達成し、推論効率を顕著に向上させた。
• 文脈的相対位置エンコーディングは、絶対エンコーディングよりも 1.72 APH、バイアスモードエンコーディングよりも 1.00 APH の性能向上をもたらし、表現学習におけるその重要性を示した。
• アブレーションスタディの結果、受容fieldを最適値（例：$r_v = 8.0$, $r_p = 3.2$）を超えて拡大すると、ノイズや不必要なポイントのサンプリングにより性能が飽和または低下する傾向が見られた。