[論文レビュー] Improved Multi-Scale Grid Rendering of Point Clouds for Radar Object Detection Networks

Daniel Köhler, Maurice Quach+4 more|arXiv (Cornell University)|May 25, 2023

Remote Sensing and LiDAR ApplicationsEnvironmental Science被引用数 3

ひとこと要約

本論文は、ポイントからグリッドへの変換過程における局所的特徴符号化を向上させるKPBEV——キーポイント畳み込みに基づく手法——を用いた、新規のレーダー物体検出アーキテクチャであるマルチスケールKPPillarsBEVを提案する。この手法は、グリッドレンダリングを改善し、nuScenes上でのCar AP4.0をベースライン比5.37%、SOTA比2.88%向上させるとともに、リアルタイム推論速度を維持する。

ABSTRACT

Architectures that first convert point clouds to a grid representation and then apply convolutional neural networks achieve good performance for radar-based object detection. However, the transfer from irregular point cloud data to a dense grid structure is often associated with a loss of information, due to the discretization and aggregation of points. In this paper, we propose a novel architecture, multi-scale KPPillarsBEV, that aims to mitigate the negative effects of grid rendering. Specifically, we propose a novel grid rendering method, KPBEV, which leverages the descriptive power of kernel point convolutions to improve the encoding of local point cloud contexts during grid rendering. In addition, we propose a general multi-scale grid rendering formulation to incorporate multi-scale feature maps into convolutional backbones of detection networks with arbitrary grid rendering methods. We perform extensive experiments on the nuScenes dataset and evaluate the methods in terms of detection performance and computational complexity. The proposed multi-scale KPPillarsBEV architecture outperforms the baseline by 5.37% and the previous state of the art by 2.88% in Car AP4.0 (average precision for a matching threshold of 4 meters) on the nuScenes validation set. Moreover, the proposed single-scale KPBEV grid rendering improves the Car AP4.0 by 2.90% over the baseline while maintaining the same inference speed.

研究の動機と目的

• レーダーに基づく物体検出におけるポイントクラウドからグリッドへのレンダリング過程での情報損失を解消すること。
• グリッドベースの検出器における特徴表現を、グリッドレンダリング段階でキーポイント畳み込み（KPConvs）を活用することで向上させること。
• ポイントクラウドからのスケールに敏感な特徴を統合可能な、一般化可能なマルチスケールグリッドレンダリング定式化を構築すること。
• 性能と計算効率の両立を実現するパレート最適な検出アーキテクチャを設計すること。

提案手法

• 各非空のグリッドセル内のアンカーポイントにキーポイント畳み込みを適用するグリッドレンダリングモジュールKPBEVを提案。これにより、局所的特徴符号化が強化される。
• 任意のグリッドレンダリング手法と組み合わせ可能な、一般化されたマルチスケールグリッドレンダリング定式化を導入。ポイントクラウドを複数の空間解像度で処理する。
• KPBEVとマルチスケールレンダリングを統合した統一された検出バックボーン、KPPillarsBEVを構築。ポイントベースの前処理とグリッドベースのCNNを組み合わせる。
• 粗いグリッドでは適応的畳み込み半径を用いることで、計算負荷を低減しつつ長距離のコンテキストを保持する。
• 入力ポイントの全点ではなく、非空セルごとに1つのアンカーポイントに限定してKPConv処理を実行することで、推論速度を維持する。
• 検出ヘッドにおけるラテラル接続を用いてスケール間の特徴統合を実現し、マルチスケール特徴学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 キーポイント畳み込みは、レーダーに基づく物体検出におけるグリッドレンダリング段階での特徴符号化を改善できるか？
• RQ2 マルチスケールグリッドレンダリングは、シングルスケール手法と比較して検出性能を向上させるか？
• RQ3 任意のグリッドレンダリング手法と互換性を持つ、一般化可能なマルチスケールグリッドレンダリング定式化を設計可能か？
• RQ4 KPBEVとマルチスケールレンダリングを統合した際の、検出精度と計算コストのトレードオフはいかなるものか？

主な発見

• シングルスケールKPBEVは、推論時間に追加コストをかけずにPointPillarsベースライン比でCar AP4.0を2.90%向上させる。
• 提案されたマルチスケールKPPillarsBEVアーキテクチャは、nuScenes上でのCar AP4.0が43.68%、mAPが26.42%を達成し、ベースライン比でAP4.0を5.37%向上。
• V100 GPU上で60 FPSを維持しながら、以前のSOTA（KPPillars）をAP4.0で2.88%上回る。
• KPBEVは、0.5mグリッド解像度において、ポイントベースの前処理と比較してKPConv処理回数を38%削減し、効率性が向上。
• マルチスケールグリッドレンダリングは、KPBEVと組み合わせた際に最大の性能向上を示し、相乗効果が確認された。
• パレートフロント分析により、精度と計算コストの良好なトレードオフが実現されており、多様なハードウェア環境への展開が可能であることが確認された。