[論文レビュー] Reviewing 3D Object Detectors in the Context of High-Resolution 3+1D Radar

Patrick Palmer, Martin Krueger+3 more|arXiv (Cornell University)|Aug 10, 2023

Advanced SAR Imaging Techniques被引用数 4

ひとこと要約

この論文は、高解像度の3+1Dレーダー点群データに対して、元々ライダーポイントクラウド向けに設計された10種類の3次元物体検出器を評価し、それらをレーダーデータに適応させ、2つのデータセットで性能を評価している。主な発見では、どのモデルも一貫して優れているとは限らず、PV-RCNNとVoxel R-CNNがより優れたロバストネスを示している一方、PointRCNNは著しく性能が低い。レーダーデータのノイズとスパarsityは検出精度を著しく低下させるため、ライダーと同等の性能を達成するためには、レーダー固有のアーキテクチャ的適合が必要であることが示された。

ABSTRACT

Recent developments and the beginning market introduction of high-resolution imaging 4D (3+1D) radar sensors have initialized deep learning-based radar perception research. We investigate deep learning-based models operating on radar point clouds for 3D object detection. 3D object detection on lidar point cloud data is a mature area of 3D vision. Many different architectures have been proposed, each with strengths and weaknesses. Due to similarities between 3D lidar point clouds and 3+1D radar point clouds, those existing 3D object detectors are a natural basis to start deep learning-based 3D object detection on radar data. Thus, the first step is to analyze the detection performance of the existing models on the new data modality and evaluate them in depth. In order to apply existing 3D point cloud object detectors developed for lidar point clouds to the radar domain, they need to be adapted first. While some detectors, such as PointPillars, have already been adapted to be applicable to radar data, we have adapted others, e.g., Voxel R-CNN, SECOND, PointRCNN, and PV-RCNN. To this end, we conduct a cross-model validation (evaluating a set of models on one particular data set) as well as a cross-data set validation (evaluating all models in the model set on several data sets). The high-resolution radar data used are the View-of-Delft and Astyx data sets. Finally, we evaluate several adaptations of the models and their training procedures. We also discuss major factors influencing the detection performance on radar data and propose possible solutions indicating potential future research avenues.

研究の動機と目的

• 既存のライダー基盤の3次元物体検出器が、高解像度の3+1Dレーダー点群データへどの程度転送可能かを評価すること。
• 特にデータのスパarsityと高いノイズレベルに起因する、レーダー基盤の3次元検出における性能ボトルネックを同定すること。
• View-of-DelftとAsthymの両データセットを含む、多様なレーダーデータセットにおけるモデルの汎化性能を評価すること。
• データ蓄積技術とレーダー固有のアーキテクチャ拡張を通じた改善策を提案すること。
• 自動運転分野におけるレーダー専用の3次元物体検出の今後の研究のベンチマークを確立すること。

提案手法

• ポイントベース（PointRCNN）、ボクセルベース（Voxel R-CNN）、ピラー基盤（PointPillars）、ポイント-ボクセルハイブリッド（PV-RCNN）の10種類の最先端3次元物体検出器を、3+1Dレーダー点群データで動作可能に適応させた。
• ネットワークバックボーンと特徴エンコーダーを変更し、特に径方向速度を含むレーダー固有の入力を処理できるようにボクセル特徴エンコーダー（VFE）を拡張した。
• 都市部の交通シーンを含む高解像度3+1DレーダーベンチマークであるView-of-Delft（VoD）データセットでモデルを訓練した。
• VoDデータセットで最も性能の高かったモデルを、より小さなAsthymデータセットで微調整し、異なるデータセット間での汎化性能を評価した。
• モデル間およびデータ分布ごとの検出性能を比較するために、クロスモデルおよびクロスデータセットの検証を実施した。
• 誤検出や不整合の原因となるレーダーノイズとスパarsityに起因する問題を診断するため、定性的な分析とエラー状態の可視化を実施した。

Figure 1 : Overview of radar sensor data processing pipeline. See [ 5 , 43 , 27 ] for a more detailed description. ADC: Analog-to-Digital Converter, FFT: Fast Fourier Transformation, DC: Data Conversion, Demo: Demodulation, PD: Peak Detection

実験結果

リサーチクエスチョン

• RQ1 既存のライダー基盤の3次元物体検出器は、高解像度の3+1Dレーダー点群データへどの程度汎化可能か？
• RQ2 レーダー基盤の3次元検出における主な性能制限要因は何か？また、ライダー基盤の検出と比較してどう異なるか？
• RQ3 どの3次元物体検出器アーキテクチャが、異なるレーダーデータ分布および物体クラスに対して最もロバストに機能するか？
• RQ4 ライダーと比較して、レーダーのスパarsityと高いノイズレベルが検出精度にどの程度悪影響を及えるか？
• RQ5 データ処理やアーキテクチャ的修正を加えることで、レーダー専用の3次元物体検出性能をどの程度向上できるか？

主な発見

• PV-RCNNとVoxel R-CNNは、View-of-DelftおよびAsthymの両データセットで、最も高いかつ一貫性のある3D mAP性能を達成しており、レーダーデータの特性に対してより高いロバストネスを示している。
• PointRCNNは他のモデルと比較して、レーダーデータでは著しく性能が低く、重大なアーキテクチャ的修正を施さない限り、直接適用することは不適切である。
• ライダーとレーダーの認識性能格差は、単にスパarsityに起因するものではなく、レーダーポイントクラウドに高いノイズが存在するため、顕著な不整合や誤検出が生じる。
• 誤検出は、真値アノテーションにポイントが少ないスパース領域に顕著に見られ、検出器が低信号領域でも検出を予測するよう学習している可能性を示唆している。
• 時間的なポイントクラウドの蓄積を単純に行うと、動的物体に起因するスメアアーチファクトが生じるが、径方向速度の推定値を用いたモーションコンペンセーションによってこれを緩和できる。
• 径方向速度の統合、自己注意メカニズム、不確実性推定などの、レーダー固有のアーキテクチャ的拡張は、ライダー性能との格差を埋める強力な可能性を示している。

Figure 2 : General trends for the detection performances of all the investigated models for both ranges on lidar (solid lines) and radar (dashed lines) data. PP: PointPillars, SD: SECOND, Point: Point-RCNN, PV: PV-RCNN, Voxel: Voxel R-CNN, CP: CenterPoint