[論文レビュー] RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects

Bin Yang, Runsheng Benson Guo+3 more|arXiv (Cornell University)|Jul 28, 2020

Adversarial Robustness in Machine Learning参考文献 46被引用数 11

ひとこと要約

RadarNetは、幾何的正確性を高めるボクセルベースの早期融合と、動的速度推定に適したアテンションベースの後期融合を組み合わせた、LiDARとレーダーのデータを融合する画期的なフレームワークを提案する。3次元物体検出および速度推定において最先端の性能を達成し、特にLiDARデータが疎であったり、レーダー信号密度が低いといった困難な条件下でも、長距離検出および動的物体の運動理解が顕著に向上する。

ABSTRACT

We tackle the problem of exploiting Radar for perception in the context of self-driving as Radar provides complementary information to other sensors such as LiDAR or cameras in the form of Doppler velocity. The main challenges of using Radar are the noise and measurement ambiguities which have been a struggle for existing simple input or output fusion methods. To better address this, we propose a new solution that exploits both LiDAR and Radar sensors for perception. Our approach, dubbed RadarNet, features a voxel-based early fusion and an attention-based late fusion, which learn from data to exploit both geometric and dynamic information of Radar data. RadarNet achieves state-of-the-art results on two large-scale real-world datasets in the tasks of object detection and velocity estimation. We further show that exploiting Radar improves the perception capabilities of detecting faraway objects and understanding the motion of dynamic objects.

研究の動機と目的

• 悪天候下におけるLiDARおよびカメラベースの認識の限界を解消し、長距離検出および速度推定を改善すること。
• 自動運転認識における、疎でノイズが多く、曖昧なレーダーデータの課題を克服すること。
• レーダーとLiDARからの幾何的および動的情報を効果的に活用できる統合型のディープラーニングフレームワークを開発すること。
• LiDARデータが疎または遮蔽されている場合でも、動的物体の運動推定の精度を向上させること。
• 教師なしで、レーダーのターゲットと物体検出との間の頑健な関連付けを学習すること。

提案手法

• ボクセルベースの早期融合戦略により、LiDAR点群とレーダー戦いをボクセルレベルで統合し、幾何的表現を強化し、長距離検出を向上させる。
• アテンションベースの後期融合モジュールは、レーダーのターゲットと検出された物体との関連付けを学習し、両センサー分野の不確実性をモデル化する。
• アテンション機構は、レーダー速度測定の信頼性に応じて動的に重みを割り当て、1次元の径方向速度を正確な2次元物体速度推定に変換する。
• ネットワークは、効率的かつ正確な物体検出を実現するため、ビューアー・エイド（BEV）特徴表現を用いた1段階型3次元検出器を採用する。
• モデルは大規模な実世界データセット上でエンドツーエンドに訓練され、センサーモダリティ固有のノイズや曖昧さに対処しながら、マルチモーダルセンサデータを統合する能力を学習する。
• アブレーションスタディにより、各コンポonentの寄与が検証され、性能向上には早期および後期融合の両方が不可欠であることが示された。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてレーダーのデータをLiDARと効果的に統合し、長距離3次元物体検出を改善できるか？
• RQ2 教師なしで、ノイズの多いレーダーのターゲットと物体検出との関連付けを、アテンションベースの統合機構が学習できるか？
• RQ3 特にSNRが低いか、データが疎な状況下において、レーダーは物体の速度推定精度をどの程度向上させるか？
• RQ4 ヒューリスティックまたは単純な統合ベースラインと比較して、提案された統合フレームワークの耐障害性および性能はどのように異なるか？
• RQ5 センサの不確実性はマルチセンサ統合においてどのような役割を果たし、ディープラーニングアーキテクチャで効果的にモデル化できるか？

主な発見

• RadarNetは、nuScenesおよびDenseRadarデータセットの両方で最先端の性能を達成し、3次元物体検出および速度推定の分野で先行手法を上回った。
• DenseRadarでは70–100m範囲で検出APが+0.8%向上し、レーダーの拡張された測定能力に起因する長距離認識能力の向上が裏付けられた。
• アテンションベースの後期統合により、DenseRadarにおける速度推定誤差が19%削減され、特に高ノイズまたは低信号状況下でヒューリスティックベースラインを著しく上回った。
• nuScenesでは14%、DenseRadarでは19%の速度誤差削減を達成し、特に物体が径方向から大きくずれている場合や、低速度の状況下で最大の向上が得られた。
• アテンションモジュールは、センサの不確実性を効果的に捉えており、例えば物体の運動がセンサの視線に対してほぼ接線方向にある場合に、径方向速度が曖昧になる状況では信頼性の低いレーダー関連付けを回避した。
• 定性的な結果から、レーダーのターゲットと検出との間の頑健で疎な関連付けが得られており、ノイズが多いか信頼性の低いレーダーの戦いを正しく除外していることが確認された。