[論文レビュー] Generation of Realistic Synthetic Raw Radar Data for Automated Driving Applications using Generative Adversarial Networks

Eduardo C. Fidelis, Fabio Reway+6 more|arXiv (Cornell University)|Aug 4, 2023

Autonomous Vehicle Technology and SafetyEngineering被引用数 3

ひとこと要約

本論文では、距離とノイズを入力として、16同時 chirp を生成する GAN ベースの手法を提案し、実際の FMCW レーダーの合成原始データを生成する。この手法は低 FID スコア（0.51）を達成し、実際の距離-方位マップおよび物体検出結果を生成し、従来のレイ追跡法と比較してシミュレーションと現実のギャップを顕著に低減する。

ABSTRACT

The main approaches for simulating FMCW radar are based on ray tracing, which is usually computationally intensive and do not account for background noise. This work proposes a faster method for FMCW radar simulation capable of generating synthetic raw radar data using generative adversarial networks (GAN). The code and pre-trained weights are open-source and available on GitHub. This method generates 16 simultaneous chirps, which allows the generated data to be used for the further development of algorithms for processing radar data (filtering and clustering). This can increase the potential for data augmentation, e.g., by generating data in non-existent or safety-critical scenarios that are not reproducible in real life. In this work, the GAN was trained with radar measurements of a motorcycle and used to generate synthetic raw radar data of a motorcycle traveling in a straight line. For generating this data, the distance of the motorcycle and Gaussian noise are used as input to the neural network. The synthetic generated radar chirps were evaluated using the Frechet Inception Distance (FID). Then, the Range-Azimuth (RA) map is calculated twice: first, based on synthetic data using this GAN and, second, based on real data. Based on these RA maps, an algorithm with adaptive threshold and edge detection is used for object detection. The results have shown that the data is realistic in terms of coherent radar reflections of the motorcycle and background noise based on the comparison of chirps, the RA maps and the object detection results. Thus, the proposed method in this work has shown to minimize the simulation-to-reality gap for the generation of radar data.

研究の動機と目的

• FMCW レーダーのシミュレーションに一般的に用いられるレイ追跡法の高い計算コストと限定的な現実性を解決すること。
• 実際の測定値に類似した合成レーダー原始データを生成することで、自動運転センサーのシミュレーションと現実のギャップを低減すること。
• レアまたは安全に重要なシナリオにおけるレーダー処理アルゴリズムのデータ拡張を効率的に行えるようにすること。
• 物理的センサーモデルの代替として、データ駆動的かつ計算効率の良いレーダーのシミュレーション手法を開発すること。
• FID スコア、RA マップの比較、物体検出性能を通じて、生成されたレーダー原始データの現実性を検証すること。

提案手法

• 実際の FMCW レーダーから得た原始 IF 信号を用いて、距離とガウスノイズを条件入力として、条件付き GAN を学習する。
• 生成器ネットワークは、バッチ正規化と ReLU 活性化関数を備えた WaveGAN に類似したアーキテクチャを採用し、1回の順伝播で 16 チャープを出力する。
• 識別器は生成データと入力された距離の両方を条件として用い、距離予測のための事前学習済み回帰モデルを用いて特徴マッチングを実施する。
• 入力データ（IF 信号と距離）は、生成器の tanh 活性化関数の出力範囲（-1 から 1）に合わせて StandardScaler を用いてスケーリングされる。
• モデルは 4,655 エポックにわたり学習され、リアルさと一般化性能を評価するために FID スコアと最近隣接（NN）距離指標が使用される。
• 実際のデータと生成データの両方から距離-方位（RA）マップが計算され、物体検出には適応的しきい値とエッジ検出アルゴリズムが適用される。

実験結果

リサーチクエスチョン

• RQ1 GAN ベースのモデルは、人間の知覚的および統計的に実際のレーダー測定値と類似した合成原始 FMCW レーダー原始データを生成できるか？
• RQ2 生成データと実際のデータの FID スコアは、分布の類似性を示すために、実データおよび学習データと比較してどうなるか？
• RQ3 生成された RA マップおよび物体検出結果は、実際のレーダー測定値とどの程度一致するか？
• RQ4 モデルは、学習サンプルをコピーすることなく、現実的な背景ノイズと整合性のあるレーダー反射を生成できるか？
• RQ5 従来のレイ追跡法と比較して、GAN の推論速度は計算効率の観点でどの程度優れているか？

主な発見

• 生成データと実データ間の FID スコアは 0.51 であり、分布の類似性が強く、合成データの現実性が非常に高いことを示している。
• 生成データと学習サンプル間の最近隣接（NN）距離は 2.37 であり、学習-学習（1.00）より高く、テスト-学習（2.83）と同等であったため、サンプルが単純なコピーではないことが示された。
• 生成データからの自転車の距離予測の平均絶対誤差は 1.4 メートルであり、正確な物体位置特定を示している。
• 生成器は 3.92 秒で 6,000 チャープを生成し、1 サンプルあたり 0.65 ms であったため、高い計算効率が確認された。
• 合成データから生成された RA マップは、特に自転車ターゲットの構造と反射パターンにおいて、実世界のマップと類似していた。
• 適応的しきい値とエッジ検出を用いた物体検出は、実データおよび合成データの両方で一貫した結果を示し、機能的な現実性が確認された。