[論文レビュー] RadSegNet: A Reliable Approach to Radar Camera Fusion

Kshitiz Bansal, Keshav Rungta+1 more|arXiv (Cornell University)|Aug 8, 2022

Infrared Target Detection Methodologies被引用数 10

ひとこと要約

RadSegNetは、カメラ画像とレーダー点群から分離して意味特徴を抽出する新しいレーダー・カメラ統合フレームワークを提案する。意味的ポイントグリッド（SPG）表現を用いることで、遮蔽や悪天候によるカメラ入力の劣化に対しても、頑健な物体検出を実現する。AstyxデータセットではSOTA手法比で27%高い平均精度を達成し、RADIATEでは41.46%の向上を示す。混合データで学習した場合、悪天候下での性能向上は126%に達する。

ABSTRACT

Perception systems for autonomous driving have seen significant advancements in their performance over last few years. However, these systems struggle to show robustness in extreme weather conditions because sensors like lidars and cameras, which are the primary sensors in a sensor suite, see a decline in performance under these conditions. In order to solve this problem, camera-radar fusion systems provide a unique opportunity for all weather reliable high quality perception. Cameras provides rich semantic information while radars can work through occlusions and in all weather conditions. In this work, we show that the state-of-the-art fusion methods perform poorly when camera input is degraded, which essentially results in losing the all-weather reliability they set out to achieve. Contrary to these approaches, we propose a new method, RadSegNet, that uses a new design philosophy of independent information extraction and truly achieves reliability in all conditions, including occlusions and adverse weather. We develop and validate our proposed system on the benchmark Astyx dataset and further verify these results on the RADIATE dataset. When compared to state-of-the-art methods, RadSegNet achieves a 27% improvement on Astyx and 41.46% increase on RADIATE, in average precision score and maintains a significantly better performance in adverse weather conditions

研究の動機と目的

• 遮蔽や悪天候によるカメラ入力の劣化に対して、既存のレーダー・カメラ統合手法の低い耐障害性を是正すること。
• カメラとレーダーの特徴抽出を分離することで、信頼性の高い性能を維持する統合システムを設計すること。
• カメラ（意味的豊かさ）とレーダー（全天候信頼性）の相補的利点を、分離処理によって活用すること。
• 明るい天候と悪天候の両方の条件下で、ベンチマークデータセット上でシステムを検証すること。
• 分離された情報抽出が、困難な状況下での顕著な一般化性能と信頼性の向上に寄与することを示すこと。

提案手法

• レーダー・データにビードズ・ビュー（BEV）表現を用いることで、遮蔽や長距離検出性能を向上させる。
• 最新のモデルを用いてRGBカメラ画像の意味的セグメンテーションを実行し、豊富なテクスチャおよび意味的特徴を抽出する。
• カメラベースの意味的特徴を3次元レーダー点群空間に投影するための新規な意味的ポイントグリッド（SPG）表現を導入し、深度監視を必要とせずにクロスモーダル整合を実現する。
• カメラとレーダーの入力を並列処理することで、意味セグメンテーションと検出の間に1フレームの遅延を維持し、遅延を最小限に抑える。
• CFARフィルタリングを用いてレーダー強度マップを2次元点群に変換し、センサの高さをz座標として用いて3次元点群を構築する。
• レーダー検出結果とSPGで符号化された意味的事前知識を組み合わせることで統合を実現し、カメラ特徴が劣化しても頑健な検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 カメラ入力が悪天候や遮蔽によって劣化しても、レーダー・カメラ統合システムが高い性能を維持できるか？
• RQ2 カメラとレーダーからの分離された特徴抽出は、統合的または同時統合と比較して、システムの信頼性を向上させるか？
• RQ3 提案されたSPG表現は、深度監視を必要とせずに、どのように効果的なクロスモーダル特徴統合を可能にするか？
• RQ4 明るい天候と悪天候の両方のデータで学習することで、レーダー・カメラ統合システムの一般化性能がどの程度向上するか？
• RQ5 本システムは、多様なレーダー種別および困難な環境条件下でも高い精度を維持できるか？

主な発見

• RadSegNetは、SOTA手法比でAstyxデータセットで27%高い平均精度を達成した。
• RADIATEデータセットでは、明るい天候＋悪天候のデータで学習・テストした場合、平均精度が41.46%向上した。
• 明るい天候のデータでのみ学習した場合、RadSegNetは悪天候データのテストで126%の性能向上を示したが、AVOD-fusionは25.34%の向上にとどまった。
• RADIATEの定性的な結果から、混雑した交通状況、悪天候、低照度条件下でも、システムは頑健な検出性能を維持している。
• 分離抽出設計により、カメラ特徴が完全に損傷した場合でも、レーダー単体の検出に滑らかに劣化する。
• SPG表現により、深度監視を必要とせずに、効果的な意味的事前知識をレーダー点群に投影でき、検出精度を顕著に向上させた。