[논문 리뷰] Generation of Realistic Synthetic Raw Radar Data for Automated Driving Applications using Generative Adversarial Networks

Eduardo C. Fidelis, Fabio Reway외 6명|arXiv (Cornell University)|2023. 08. 04.

Autonomous Vehicle Technology and SafetyEngineering인용 수 3

한 줄 요약

이 논문은 거리와 노이즈를 입력으로 사용하여 16개의 동시 chirp를 생성하는 GAN 기반 방법을 제안한다. 이 방법은 낮은 FID 점수(0.51)를 기록하며 실제와 유사한 범위-방향도와 물체 검출 결과를 생성하여 기존의 레이 트레이싱 방법에 비해 시뮬레이션과 현실 간 격차를 크게 줄였다.

ABSTRACT

The main approaches for simulating FMCW radar are based on ray tracing, which is usually computationally intensive and do not account for background noise. This work proposes a faster method for FMCW radar simulation capable of generating synthetic raw radar data using generative adversarial networks (GAN). The code and pre-trained weights are open-source and available on GitHub. This method generates 16 simultaneous chirps, which allows the generated data to be used for the further development of algorithms for processing radar data (filtering and clustering). This can increase the potential for data augmentation, e.g., by generating data in non-existent or safety-critical scenarios that are not reproducible in real life. In this work, the GAN was trained with radar measurements of a motorcycle and used to generate synthetic raw radar data of a motorcycle traveling in a straight line. For generating this data, the distance of the motorcycle and Gaussian noise are used as input to the neural network. The synthetic generated radar chirps were evaluated using the Frechet Inception Distance (FID). Then, the Range-Azimuth (RA) map is calculated twice: first, based on synthetic data using this GAN and, second, based on real data. Based on these RA maps, an algorithm with adaptive threshold and edge detection is used for object detection. The results have shown that the data is realistic in terms of coherent radar reflections of the motorcycle and background noise based on the comparison of chirps, the RA maps and the object detection results. Thus, the proposed method in this work has shown to minimize the simulation-to-reality gap for the generation of radar data.

연구 동기 및 목표

• FMCW 레이더 시뮬레이션을 위한 전통적인 레이 트레이싱 방법의 높은 계산 비용과 제한된 현실성 문제를 해결하기 위해
• 실제 측정치와 유사하게 시뮬레이션된 레이더 데이터를 생성함으로써 자율주행 센서 시뮬레이션에서의 시뮬레이션-현실 격차를 줄이기 위해
• 희귀하거나 안전 기준이 엄격한 시나리오에 대한 데이터 증강을 효율적으로 가능하게 하기 위해 레이더 처리 알고리즘을 위한 합성 데이터 생성을 위해
• 물리적 센서 모델의 대안으로 데이터 기반이며 계산 비용이 저렴한 레이더 시뮬레이션 방법을 개발하기 위해
• FID 점수, RA 지도 비교, 물체 검출 성능를 통해 생성된 레이더 데이터의 현실성 검증을 위해

제안 방법

• 실제 FMCW 레이더의 원시 IF 신호를 기반으로 조건부 GAN을 훈련시키며, 거리와 가우시안 노이즈를 조건 입력으로 사용한다.
• 생성자 네트워크는 배치 정규화와 ReLU 활성화 함수를 사용한 WaveGAN 유사 아키텍처를 사용하며, 한 번의 순전파에서 16개의 chirp를 출력한다.
• 판별자도 생성된 데이터와 입력 거리 모두를 조건으로 하며, 거리 예측을 위한 사전 훈련된 회귀 모델을 사용해 특징 매칭을 수행한다.
• 입력 데이터(IF 신호 및 거리)는 생성자 네트워크의 tanh 활성화 함수 출력 범위(-1에서 1)에 맞추기 위해 StandardScaler를 사용해 정규화된다.
• 모델은 4,655 에포크 동안 훈련되며, 현실성과 일반화 능력을 평가하기 위해 FID 및 최근접 이웃(NN) 거리 지표를 사용해 평가된다.
• 실제 데이터와 생성된 데이터에서 모두 범위-방향(RA) 지도를 계산하고, 물체 검출을 위해 적응형 임계값 + 에지 검출 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델이 실제 레이더 측정치와 시각적·통계적으로 유사한 합성 원시 FMCW 레이더 데이터를 생성할 수 있는가?
• RQ2 생성된 데이터의 FID 점수가 실제 데이터 및 훈련 데이터와 비교해 어떻게 되어 있으며, 분포 유사성의 정도를 어떻게 반영하는가?
• RQ3 생성된 RA 지도와 물체 검출 결과가 실제 레이더 데이터와 어느 정도 일치하는가?
• RQ4 학습 샘플을 복사하지 않고도 현실적인 배경 노이즈와 일관된 레이더 반사 신호를 생성할 수 있는가?
• RQ5 전통적인 레이 트레이싱 방법 대비 GAN의 추론 속도는 계산 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 생성된 데이터와 실제 데이터 간 FID 점수는 0.51로 나타나, 합성 데이터의 분포가 매우 유사하고 현실성이 높음을 시사한다.
• 생성된 샘플과 훈련 샘플 간 최근접 이웃(NN) 거리는 2.37로, 훈련-훈련(1.00)과 비교해 높고, 테스트-훈련(2.83)과 유사하여 샘플이 단순한 복제가 아님을 시사한다.
• 생성된 데이터에서 오토바이 거리 예측의 평균 절대 오차는 1.4미터로, 정확한 물체 위치 추정을 의미한다.
• 생성자는 3.92초 동안 6,000개의 chirp를 생성했으며, 평균 0.65ms당 하나의 샘플을 생성해 높은 계산 효율성을 입증했다.
• 합성 데이터에서 생성된 RA 지도는 특히 오토바이 목표물의 경우 실제 지도와 기하학적 구조와 반사 패턴에서 유사성을 보였다.
• 적응형 임계값과 에지 검출을 통한 물체 검출은 실제 데이터와 합성 데이터 모두에서 일관된 결과를 도출했으며, 기능적 현실성을 확인했다.