[論文レビュー] Radar Camera Fusion via Representation Learning in Autonomous Driving

Dong Xu, Binnan Zhuang+2 more|arXiv (Cornell University)|Mar 14, 2021

Advanced Neural Network Applications参考文献 30被引用数 7

ひとこと要約

この論文では、自動運転におけるレーダー・カメラ統合のための深層表現学習フレームワーク、AssociationNetを提案する。この手法は、ルールベースの手法よりもF1スコアで11.6%優れている。本手法は、レーダーピンと2次元バウンディングボックスから擬似画像を構築し、損失サンプリング機構と順序損失を組み合わせることで、LiDARに基づく真値がなくても、ロバストでエンドツーエンドのデータアソシエーションを可能にする。

ABSTRACT

Radars and cameras are mature, cost-effective, and robust sensors and have been widely used in the perception stack of mass-produced autonomous driving systems. Due to their complementary properties, outputs from radar detection (radar pins) and camera perception (2D bounding boxes) are usually fused to generate the best perception results. The key to successful radar-camera fusion is the accurate data association. The challenges in the radar-camera association can be attributed to the complexity of driving scenes, the noisy and sparse nature of radar measurements, and the depth ambiguity from 2D bounding boxes. Traditional rule-based association methods are susceptible to performance degradation in challenging scenarios and failure in corner cases. In this study, we propose to address radar-camera association via deep representation learning, to explore feature-level interaction and global reasoning. Additionally, we design a loss sampling mechanism and an innovative ordinal loss to overcome the difficulty of imperfect labeling and to enforce critical human-like reasoning. Despite being trained with noisy labels generated by a rule-based algorithm, our proposed method achieves a performance of 92.2% F1 score, which is 11.6% higher than the rule-based teacher. Moreover, this data-driven method also lends itself to continuous improvement via corner case mining.

研究の動機と目的

• 複雑な状況やレアなシナリオで伝統的なルールベース手法が失敗する、自動運転におけるレーダー・カメラデータアソシエーションの課題に対処する。
• 高価なLiDARに基づく真値アノテーションに依存しない、スケーラブルで低コストのセンシングソリューションを開発する。
• ルールベースのアソシエーションアルゴリズムから得られるノイジーや不完全なラベルの制限を、ロバストな深層学習トレーニング戦略によって克服する。
• 学習された表現フレームワークを通じて、レーダーとカメラモダリティ間のグローバルな推論と特徴レベルの相互作用を可能にする。
• コーナーケースのマイニングを可能にするトレーニングパイプラインを設計し、不完全な教師信号でも継続的な改善を実現する。

提案手法

• レーダーピンと2次元バウンディングボックスをカメラ画像平面に投影し、それらの特徴をRGB画像と連結することで擬似画像を構築する。
• 得られた擬似画像を畳み込みニューラルネットワーク（CNN）に供給し、オブジェクトレベルのアソシエーションに適した高レベルの意味的表現を学習する。
• トレーニング中にノイジーラベルの影響を軽減するために、正例対と負例対のバランスを取る損失サンプリング機構を用いる。
• マッチング済み対とアンマッチド対の間の相対的信頼度をモデル化することで、人間の推論に類似した行動を促す、新しい順序損失を導入する。
• ルールベースのアルゴリズムによって生成されたラベルを用いてエンドツーエンドでモデルをトレーニングし、LiDARを必要としない実世界の自動運転車両への展開を可能にする。
• 最終CNN層の特徴マップを通じてグローバルな文脈を活用し、局所的な距離メトリクスを超えたシーン依存の推論を可能にする。

Figure 1 : An illustration of the associations between radar detections (radar pins) and camera detections (2D bounding boxes). The context of the scene is illustrated in the top picture, with the image captured by the camera along with the detected bounding boxes and the projected radar pins (shown

実験結果

リサーチクエスチョン

• RQ1 ノイジーでスパースなレーダーデータを伴う複雑な走行シナリオにおいて、深層表現学習アプローチがルールベースのレーダー・カメラアソシエーションを上回ることができるか？
• RQ2 損失サンプリング機構は、ルールベースアソシエーションから得られる不完全なラベルがモデルトレーニングに与える悪影響をどれほど軽減できるか？
• RQ3 順序損失は、学習プロセスに重要な推論論理を組み込むことで、モデルの一般化性能をどの程度向上させられるか？
• RQ4 LiDARに基づく真値に依存しない学習ベースの統合フレームワークは、大規模生産向けの自動運転システムに適した高い性能を達成できるか？
• RQ5 提案手法は、従来のヒューリスティック手法と比較して、コーナーケースやレアシナリオをどのように処理するか？

主な発見

• AssociationNetはテストセットで92.2%のF1スコアを達成し、ルールベースの教師手法（80.6% F1）よりも11.6%高い。
• 正例対：負例対 = 1:1 の損失サンプリングにより、サンプリングなしのバージョンと比較してF1スコアが1.1%向上した。
• 最適な重み2.0を設定した順序損失を導入したことで、順序監視なしのベースラインと比較してF1スコアが1.8%向上した。
• 本モデルは、複数の大型車両が密集する状況でも、困難なシナリオにおいてもロバストであることが示された。
• ルールベースシステムから得られるノイジーなラベルでトレーニングされたにもかかわらず、AssociationNetは教師モデルよりも一般化性能に優れ、特にリCALLが73.6%から93.9%に向上した。
• 可視化結果から、複雑なシーンにおける遠方または隠れ隠れの車両を正しくアソシエートしていることが確認されたが、小サイズのオブジェクトや隠れ隠れ状態では依然として誤りが生じる場合がある。

Figure 2 : An overview of AssociationNet. Process a illustrates how the radar pins and 2D bounding boxes are first projected into the camera image plane and then produce a pseudo-image. Process b illustrates how the final pseudo-image is composed by concatenating all the features of radar pins, boun