[論文レビュー] RSN: Range Sparse Net for Efficient, Accurate LiDAR 3D Object Detection

Pei Sun, Weiyue Wang+6 more|arXiv (Cornell University)|Jun 25, 2021

Advanced Neural Network Applications参考文献 38被引用数 7

ひとこと要約

RSNは、効率的な前景ポイント分離のためのレンジ画像を活用し、選択されたポイント上でスパース畳み込みを実行する、3次元LiDARオブジェクト検出の新規フレームワークを提案する。Waymo Open Datasetにおいて150m×150mの領域で60 FPSを超える速度を達成し、APH/LEVEL_1の両方の指標と推論効率において先行研究を上回る最先端の精度を実現した。

ABSTRACT

The detection of 3D objects from LiDAR data is a critical component in most autonomous driving systems. Safe, high speed driving needs larger detection ranges, which are enabled by new LiDARs. These larger detection ranges require more efficient and accurate detection models. Towards this goal, we propose Range Sparse Net (RSN), a simple, efficient, and accurate 3D object detector in order to tackle real time 3D object detection in this extended detection regime. RSN predicts foreground points from range images and applies sparse convolutions on the selected foreground points to detect objects. The lightweight 2D convolutions on dense range images results in significantly fewer selected foreground points, thus enabling the later sparse convolutions in RSN to efficiently operate. Combining features from the range image further enhance detection accuracy. RSN runs at more than 60 frames per second on a 150m x 150m detection region on Waymo Open Dataset (WOD) while being more accurate than previously published detectors. As of 11/2020, RSN is ranked first in the WOD leaderboard based on the APH/LEVEL 1 metrics for LiDAR-based pedestrian and vehicle detection, while being several times faster than alternatives.

研究の動機と目的

• 高速走行を必要とする高スケール・ロングレンジLiDARセンシングにおける、効率的で正確な3次元オブジェクト検出の課題に対処すること。
• 密度グリッドベースの手法の非効率性と、純粋なレンジ画像手法のオクルージョン対処および局所化における精度制限を克服すること。
• 軽量でエンドツーエンドで微分可能なアーキテクチャを用いて、拡張された検出範囲（最大250m～300m）でリアルタイム推論を可能にすること。
• レンジ画像特徴を用いて高信頼度の前景ポイントを特定することで、スパース畳み込みを高信頼度の前景ポイントに限定し、計算コストを低減すること。
• 非最大値抑制を排除する、CenterNetにインspiredされたヘッドを用いて、スパース特徴から直接3次元ボックスを回帰するエンドツーエンド推論を実現すること。

提案手法

• 密度グリッドのレンジ画像に軽量な2次元畳み込みバックボーンを適用し、高解像度のセマンティック特徴を抽出する。
• 直接的な3次元ボックス回帰ではなく、高い再現率を持つ前景ポイント分離を学習することで、効率性と特徴品質を向上させる。
• 予測された前景ポイントおよび関連する特徴にのみスパース畳み込みを適用し、全グリッド処理と比較して計算量を著しく削減する。
• スパースボクセル特徴に最適化されたカスタム化されたCenterNetヘッドを統合し、非最大値抑制を伴わずにエンドツーエンドで3次元バウンディングボックスを予測する。
• 最小限の推論オーバーヘッドで、連続フレームのエゴモーション補正済み(x,y,z)特徴を統合する時間的融合戦略を採用する。
• トレーニングおよび推論時に、前景ポイントの再現率とモデル遅延のバランスを取るために、学習可能なしきい値（γ）と損失重み（λ₁）を適用する。

Figure 2: (Best viewed in color) Range Sparse Net object detection architecture. The net consists of five components: 1) Range image feature extraction: a 2D convolution net on range images to extract associated image features. 2) Foreground point selection: foreground points are segmented on range

実験結果

リサーチクエスチョン

• RQ1 レンジ画像処理と前景ポイント上のスパース畳み込みを組み合わせた2段階検出パイプラインは、ロングレンジ3次元LiDAR検出において、高精度とリアルタイム推論の両方を達成できるか？
• RQ2 レンジ画像特徴を用いた前景ポイント選択は、全グリッド処理や密度特徴処理と比較して、検出精度と計算効率にどのような影響を与えるか？
• RQ3 レンジ画像ベースの特徴は、特にオクルージョンや低ポイント密度状況下での小形または遠距離オブジェクト検出性能をどの程度向上させるか？
• RQ4 スパースヘッドからレンジ画像エンコーダーへの勾配フローを含むエンドツーエンドのトレーニングは、独立した段階と比較して検出品質を向上させるか？
• RQ5 標準ベンチマークを超えて、大きな検出範囲（例：250m×250m）にスケーリングする際、モデルは効果的に性能を維持できるか？

主な発見

• RSNは、Waymo Open Datasetにおいて、車両で64.2/63.9 AP/APH（LEVEL_2）、歩行者で68.88/66.07を達成し、すべての先行LiDARオンリーメソッドを上回った。
• 150m×150mの検出領域で60 FPS以上を達成し、PV-RCNN や PointPillars と比較して顕著に高速でありながら、高い精度を維持した。
• 前景選択しきい値γ < 0.5の条件下では、遅延が50％以上低下し、APの低下は1～2％にとどまり、効率性と精度のトレードオフを強く制御可能であることが示された。
• アブレーションスタディの結果、レンジ画像特徴（RIFE）は、車両で3.3％、歩行者で4.3％の精度向上をもたらした。特に長距離検出において顕著な恩恵があった。
• 内部のロングレンジデータセット（250m×250m）では、RSNは83.6 BEV APH および 61.2 3D APH を達成し、22msの遅延を実現。非スパースベースライン（79.4 BEV APH、53.4 3D APH、44ms遅延）を上回った。
• ヒートマップ正規化（表4のrow -Norm）を削除すると、歩行者APHが0.8ポイント低下した。これは、正確なキーポイント局所化における正規化の重要性を確認している。

Figure 3: Range image U-Net feature extractor to compute high level semantic range features. See section 3.1 for details.