[論文レビュー] Beyond Point Clouds: A Knowledge-Aided High Resolution Imaging Radar Deep Detector for Autonomous Driving

Ruxin Zheng, Shunqiao Sun+2 more|arXiv (Cornell University)|Nov 1, 2021

Radar Systems and Signal Processing参考文献 18被引用数 5

ひとこと要約

本稿では、ステアガードTDM方式を用いた多入力多出力（MIMO）信号処理チェーンと速度アンフォールディングを組み合わせ、自動運転を想定した高分解能距離-方位スペクトルを生成する、知識支援型の高分解能レーダーシステムを提案する。レーダー分野の知識と信号構造を活用することで、2,000フレームのレーダーデータ上でFaster R-CNN ResNet-50モデルを用いて0.5 IoUでの平均精度96.1%を達成し、データセットサイズが限られているにもかかわらず優れた性能を示した。

ABSTRACT

The potentials of automotive radar for autonomous driving have not been fully exploited. We present a multi-input multi-output (MIMO) radar transmit and receive signal processing chain, a knowledge-aided approach exploiting the radar domain knowledge and signal structure, to generate high resolution radar range-azimuth spectra for object detection and classification using deep neural networks. To achieve waveform orthogonality among a large number of transmit antennas cascaded by four automotive radar transceivers, we propose a staggered time division multiplexing (TDM) scheme and velocity unfolding algorithm using both Chinese remainder theorem and overlapped array. Field experiments with multi-modal sensors were conducted at The University of Alabama. High resolution radar spectra were obtained and labeled using the camera and LiDAR recordings. Initial experiments show promising performance of object detection using an image-oriented deep neural network with an average precision of 96.1% at an intersection of union (IoU) of typically 0.5 on 2,000 radar frames.

研究の動機と目的

• レベル4/5自動運転を想定した従来の自動車レーダーシステムにおける低分解能な方位角および距離分解能の限界を克服すること。
• しきい値処理やポイントクラウド変換による情報損失を回避しつつ、レーダーデータの完全性を保つ信号処理チェーンの開発。
• 12本の送信アンテナと16本の受信アンテナからなる大規模な仮想アレイを形成するMIMOレーダーを用いて、高分解能の距離-方位スペクトルを生成すること。
• 限られた学習データでも、高分解能レーダースペクトル上で深層ニューラルネットワークを用いて正確な物体検出および分類を実現すること。
• カメラ、LiDAR、レーダーを統合したマルチモーダルセンサフュージョンを用いた実世界のフィールド実験を通じて、システムの性能を検証すること。

提案手法

• 4つの段階的なTIレーダー変調器を接続した構成において、12本の送信アンテナ間での波形直交性を確保するため、ステアガードTDM方式を設計した。
• 速度アンフォールディングアルゴリズムは、中国の剰余定理と重複アレイ原理を用い、TDMスケジューリング遅延によって生じる曇いドップラー速度を解消する。
• TDM送信における時間遅延に起因するアンテナ間の位相遷移を補正するための位相補償を実施し、方位推定精度を向上させた。
• キャリブレーション済みのMIMO信号処理チェーンを用いて、カーテシアン座標系で高分解能の距離-方位スペクトルを生成した。
• Faster R-CNN ResNet-50モデルを、COCO 2017で事前学習済みのモデルを用い、入力画像を640×640にスケーリングして、レーダースペクトルデータに微調整した。
• 1回限りのボアサイトキャリブレーションを、5 mの距離に配置したコーナーリフレクタを用いて実施し、変調器間の振幅、位相、周波数の不一致を補正した。

実験結果

リサーチクエスチョン

• RQ1 段階的なTDM方式は、接続された変調器を備えた大規模MIMOレーダーシステムにおいて、波形の直交性を効果的に達成できるか？
• RQ2 信号構造と分野知識を活用することで、TDMベースのMIMOレーダーシステムにおける曇いドップラー速度をどのように解消できるか？
• RQ3 しきい値処理やポイントクラウド変換による情報損失が生じない場合、高分解能レーダースペクトルが物体の形状や空間的情報をどの程度正確に保持できるか？
• RQ4 限られた学習データでも、画像指向の深層ニューラルネットワークが高分解能レーダースペクトル上で高い検出精度を達成できるか？
• RQ5 位相補償は、TDMベースのMIMOレーダーシステムにおける方位分解能と物体位置特定精度をどの程度向上させるか？

主な発見

• 提案されたステアガードTDMおよび速度アンフォールディング手法により、曇いドップラー速度が効果的に解消され、正確な物体速度推定が可能となった。
• 位相補償により、移動中の車両の方位推定誤差が-5.5°から1.2°に低減され、方位精度が向上したことが実証された。
• 本システムは1.2°の方位分解能と0.6 mの距離分解能を達成し、14 cm離れた2つのコーナーリフレクタ（1.6°の角度差）および0.6 m離れた2つの物体を明確に分離できた。
• 2,000フレームの実世界データセット上では、Faster R-CNN ResNet-50モデルが0.5 IoUで96.1%の平均精度を達成し、優れた検出性能を示した。
• 小規模な物体（≤32×32ピクセル）の平均リCALLは79.7%であり、歩行者や小型車両などのコンパクトな物体の検出が効果的に行われた。
• 本研究では、高分解能レーダースペクトルが、限られたデータセットサイズであっても深層学習を用いた高性能な物体検出を可能にすることを示した。これにより、MIMOレーダーが自動運転分野において新たな可能性を秘めるようになった。