[論文レビュー] Radar+RGB Attentive Fusion for Robust Object Detection in Autonomous Vehicles

Ritu Yadav, Axel Vierling+1 more|arXiv (Cornell University)|Aug 31, 2020

Advanced Neural Network Applications被引用数 9

ひとこと要約

本稿では、自律走行車両における頑健な物体検出を目的とした、RGBレーダー注意型融合ネットワークRANetおよびBIRANetを提案する。バックボーンの初期段階でレーダーポイントクラウドとRGB特徴を融合し、新規の「2つのうち最良のもの」RPNターゲット生成により、レーダーに従うアンカーガイドを用いることで、BIRANetはNuScenesで72.3%の平均APを達成。これはFPNを搭載したFaster R-CNNを上回り、ノイズおよび悪天候条件下でも優れた頑健性を示している。

ABSTRACT

This paper presents two variations of architecture referred to as RANet and BIRANet. The proposed architecture aims to use radar signal data along with RGB camera images to form a robust detection network that works efficiently, even in variable lighting and weather conditions such as rain, dust, fog, and others. First, radar information is fused in the feature extractor network. Second, radar points are used to generate guided anchors. Third, a method is proposed to improve region proposal network targets. BIRANet yields 72.3/75.3% average AP/AR on the NuScenes dataset, which is better than the performance of our base network Faster-RCNN with Feature pyramid network(FFPN). RANet gives 69.6/71.9% average AP/AR on the same dataset, which is reasonably acceptable performance. Also, both BIRANet and RANet are evaluated to be robust towards the noise.

研究の動機と目的

• 自律走行車両で一般的に見られる悪天候および低照度条件下で、単一モodal検出器の限界を克服すること。
• 長距離性・天候耐性に優れるレーダーと、高解像度・意味的特徴に優れるRGBカメラの相補的利点を活用し、検出信頼性を向上させること。
• レーダーデータを特徴強化に加え、アンカー生成のガイドや領域提案品質の向上にも活用する統合フレームワークを開発すること。
• 高信頼性のレーダーポイントデータを活用して検出の監視と提案の最適化を実施し、センサーノイズおよび環境劣化に対する頑健性を向上させること。
• Faster R-CNNと特徴ピラミッドネットワーク（FPN）を基盤とする融合アーキテクチャを用いて、NuScenesベンチマークで最先端の性能を示すこと。

提案手法

• 車両座標系のレーダーポイントクラウドをカメラ視点座標系に変換し、RGB画像特徴と整合させる。
• 各ポイントの距離（z）をその（x,y）位置に埋め込むことで、1チャネルの特徴マップに変換し、エンドツーエンドCNN処理を可能にする。
• ネットワークの初期段階でRGBおよびレーダー特徴マップを要素ごとに融合することで、特徴抽出段階でのクロスモーダル特徴学習を可能にする。
• 検出されたレーダーポイントに対応する位置でのみ、レーダーに従うアンカーガイドを生成することで、余分な提案を削減し、局所化精度を向上させる。
• RGBから得る1つのアンカーとレーダーから得る1つのアンカーのうち、より良い方を採用する「2つのうち最良のもの」RPNターゲット生成戦略を導入し、陽性サンプルの品質を向上させる。
• 2段階の訓練プロセスを採用：まずCOCOでResNet-50を用いてFPNを事前学習し、次にNuScenesでRGBおよびレーダー入力を用いて微調整する。

実験結果

リサーチクエスチョン

• RQ1 RGBとレーダー特徴の早期融合が、悪天候および低照度条件下での物体検出の頑健性を向上させることができるか？
• RQ2 レーダーポイントを用いてアンカー生成をガイドすることで、従来のアンカーベース手法と比較して、検出精度と効率にどのような影響を与えるか？
• RQ3 レーダーに従うRPNターゲット生成戦略が、陽性サンプルの品質をどの程度向上させ、誤検出をどの程度低減できるか？
• RQ4 ノイズを追加した状況や極端な環境劣化下において、提案された融合アーキテクチャは、ベースラインのRGB単体検出器と比較してどの程度の性能を示すか？
• RQ5 提案手法は、平均APおよび頑健性の観点から、既存のRGBレーダー融合手法をNuScenesベンチマークで上回ることができるか？

主な発見

• BIRANetはNuScenesデータセットで72.3%の平均APおよび75.3%の平均ARを達成し、ベースラインのFPN搭載Faster R-CNN（69.7% AP）を上回った。
• RANetは69.6%の平均APおよび71.9%の平均ARを達成し、レーダーに従うアンカーのみを用いても強力な性能を示した。
• ガウスノイズおよびぼかしを追加した状況でも、BIRANetはFFPNよりも性能低下が小さく、センサーデグレードに対する頑健性を確認した。
• 低解像度512×512画像上でも、BIRANetはFFPN（65.4% AP）よりも優れた性能（68.7% AP）を維持し、低帯域幅環境下での効率性を示した。
• 可視化解析により、BIRANetは、特に遮蔽や低視界状態でFFPNが見逃す物体を検出していることが確認され、レーダーに従う提案生成のおかげであることが分かった。
• 「2つのうち最良のもの」RPNターゲット生成手法により、陽性サンプルの品質が向上し、標準RPNとの性能向上に寄与した。