[論文レビュー] Voxel R-CNN: Towards High Performance Voxel-based 3D Object Detection

Jiajun Deng, Shaoshuai Shi+4 more|arXiv (Cornell University)|Dec 31, 2020

Advanced Neural Network Applications被引用数 11

ひとこと要約

Voxel R-CNN は、点ベースの表現ではなくボクセルベースの表現を活用することで、KITTI および Waymo Open Dataset で最先端の精度を達成しながらも、25 FPS のリアルタイム推論を維持する高精度で効率的な 3D 物体検出フレームワークを提案する。ボクセル特徴ボリュームから直接 3D リジョン特徴を抽出するためのボクセル RoI プーリングを導入し、3D バックボーン、2D BEV RPN、局所特徴集約を組み合わせた検出ヘッドにより、正確な点位置情報に依存せずに効率性と精度を向上させた。

ABSTRACT

Recent advances on 3D object detection heavily rely on how the 3D data are represented, \emph{i.e.}, voxel-based or point-based representation. Many existing high performance 3D detectors are point-based because this structure can better retain precise point positions. Nevertheless, point-level features lead to high computation overheads due to unordered storage. In contrast, the voxel-based structure is better suited for feature extraction but often yields lower accuracy because the input data are divided into grids. In this paper, we take a slightly different viewpoint -- we find that precise positioning of raw points is not essential for high performance 3D object detection and that the coarse voxel granularity can also offer sufficient detection accuracy. Bearing this view in mind, we devise a simple but effective voxel-based framework, named Voxel R-CNN. By taking full advantage of voxel features in a two stage approach, our method achieves comparable detection accuracy with state-of-the-art point-based models, but at a fraction of the computation cost. Voxel R-CNN consists of a 3D backbone network, a 2D bird-eye-view (BEV) Region Proposal Network and a detect head. A voxel RoI pooling is devised to extract RoI features directly from voxel features for further refinement. Extensive experiments are conducted on the widely used KITTI Dataset and the more recent Waymo Open Dataset. Our results show that compared to existing voxel-based methods, Voxel R-CNN delivers a higher detection accuracy while maintaining a real-time frame processing rate, \emph{i.e}., at a speed of 25 FPS on an NVIDIA RTX 2080 Ti GPU. The code is available at \url{https://github.com/djiajunustc/Voxel-R-CNN}.

研究の動機と目的

• 高精度な 3D 物体検出に正確な点位置情報が必要であるという一般的な信念に挑戦すること。
• 最新の点ベースのモデルと同等の精度を達成しながら、計算コストを顕著に削減するボクセルベースの検出器を開発すること。
• ボクセル特徴ボリュームからの直接的な 3D 特徴抽出によって、3D 空間的文脈を保持することでボクセルベースの検出を改善すること。
• 精度と推論速度のバランスを取った、シンプルだが効果的な 3D 物体検出のベースラインを構築すること。

提案手法

• 3D バックボーンネットワークを用いて、ボクセル化された点群から階層的特徴を抽出する。
• 2D ビルズアイビュー（BEV）リージョンプロポーザルネットワーク（RPN）を採用し、2D 特徴マップから高密度なリージョンプロポーザルを生成する。
• 3D ボクセル特徴ボリュームから直接 3D リジョンオブインタレスト（RoI）特徴を抽出する、画期的なボクセル RoI プーリング層を導入する。
• 隣接領域に依存する特徴抽出を活用することで、ボクセル RoI プーリングの高速化を図るための局所特徴集約モジュールを導入する。
• ボクセル RoI プーリングで抽出された特徴を用いて、バウンディングボックスを精緻化する検出ヘッドにより、エンドツーエンドの2段階検出を実現する。
• 消費者向け GPU でリアルタイム推論を達成できるように、効率的かつスケーラブルに設計されている。

実験結果

リサーチクエスチョン

• RQ1 正確な点位置情報に依存せずに、ボクセルベースの 3D 物体検出器が最新の点ベースのモデルと同等の精度を達成できるか？
• RQ2 パイプラインの初期段階で 2D BEV 表現に変換するのではなく、ボクセル特徴ボリュームに 3D 空間的文脈を保持することで、検出性能が向上するか？
• RQ3 ボクセル RoI プーリングが、正確な検出に適した特徴を 3D ボクセル特徴から効果的に抽出できるか？
• RQ4 標準的なハードウェア上で、高精度なボクセルベースの検出器が 25 FPS のリアルタイム推論速度を達成できるか？
• RQ5 ベンチマーク全体を通じて、既存のボクセルベースおよび点ベースの検出器と比較して、本手法の精度と効率性はどのように異なるか？

主な発見

• Voxel R-CNN は KITTI のバリデーションセットで 84.52% の中程度の 3D 平均適合率（AP）を達成し、大多数の既存のボクセルベース手法を上回った。
• NVIDIA RTX 2080 Ti GPU 上で 25.2 FPS で実行され、リアルタイム推論の能力を示した。
• アブレーションスタディの結果、検出ヘッド、ボクセルクエリ、高速化された PointNet モジュールを組み合わせた場合が最良のパフォーマンス（84.52% AP）を示した。
• PV-RCNN などの点ベースのモデルと比較して、推論速度が優れておりながらも、同等の精度を維持した。
• 正確な点位置情報が高性能な 3D 検出に不可欠ではないことが実証され、粗いボクセル解像度でも十分な空間的文脈を提供できることが示された。
• 本フレームワークは、将来的な 3D 検出研究および下流の応用分野における強力で効率的なベースラインとして機能する。