[논문 리뷰] LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion

Meet Shah, Zhiling Huang외 6명|arXiv (Cornell University)|2020. 10. 01.

Autonomous Vehicle Technology and SafetyEngineering인용 수 17

한 줄 요약

LiRaNet는 공간-시간 레이더 데이터를 라이다 및 고정밀 지도와 융합하여 궤적 예측 정확도를 향상시키는 엔드 투 엔드 궤적 예측 모델을 제안한다. 레이더의 반경 속도 및 장거리 탐지 능력을 활용함으로써 고가속도 물체의 예측 오차를 52% 감소시키고, 장거리에서는 16% 감소시켜 라이다 단독 기반 모델보다 희소한 라이다 데이터가 존재하는 안전 중심 시나리오에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we present LiRaNet, a novel end-to-end trajectory prediction method which utilizes radar sensor information along with widely used lidar and high definition (HD) maps. Automotive radar provides rich, complementary information, allowing for longer range vehicle detection as well as instantaneous radial velocity measurements. However, there are factors that make the fusion of lidar and radar information challenging, such as the relatively low angular resolution of radar measurements, their sparsity and the lack of exact time synchronization with lidar. To overcome these challenges, we propose an efficient spatio-temporal radar feature extraction scheme which achieves state-of-the-art performance on multiple large-scale datasets.Further, by incorporating radar information, we show a 52% reduction in prediction error for objects with high acceleration and a 16% reduction in prediction error for objects at longer range.

연구 동기 및 목표

• 희소한 점, 고가속도 또는 장거리 탐지 상황에서 라이다 단독 궤적 예측의 한계를 해결하기 위해.
• 저해상도 각도 해상도, 희소성, 위치 불확실성, 라이다와의 시간 동기화 부족 등의 과제를 해결하기 위해 레이더 융합 문제를 극복하기 위해.
• 자율주행에서 운동 예측 성능 향상을 위해 레이더를 라이다 및 고정밀 지도와 조기에 융합할 수 있도록 하기 위해.
• 낮은 추론 지연을 유지하면서 대규모 데이터셋에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 모델은 레이더 포인트 클라우드 시퀀스를 동적 BEV 격자 표현으로 융합하기 위해 그래프 기반의 공간-시간 특징 추출 기법을 사용한다.
• 각 격자 셀에서 k개 이웃 검색을 통해 레이더 특징을 추출하고, 학습 가능한 모듈을 통해 공간-시간 역학을 인코딩한다.
• 라이다 및 고정밀 지도 특징은 레이더 특징과 특징 수준에서 조기에 융합되어 기하학적 및 동적 정보의 공동 모델링을 가능하게 한다.
• 네트워크는 다중 센서 특징을 집계하고 궤적을 엔드 투 엔드로 예측하기 위해 트랜스포머 기반 백본을 활용한다.
• 각 셀 레벨 레이더 처리를 위한 CUDA 최적화 커널과 TensorRT 추론 가속 기법을 통해 런타임 최적화를 달성한다.
• 변동 길이의 레이더 이력(최대 0.5초)을 처리할 수 있도록 설계된 시간 융합 레이어는 최소한의 지연 영향을 미친다.

실험 결과

연구 질문

• RQ1 라이다 및 고정밀 지도와의 조기 융합이 복잡한 실제 주행 환경에서 궤적 예측 성능을 향상시킬 수 있는가?
• RQ2 라이다가 희소한 고가속도 또는 장거리 물체의 경우 레이더 기반 속도 추정이 예측 정확도를 어떻게 향상시키는가?
• RQ3 다중 모드 궤적 예측에서 레이더가 모드 모호성 해결에 얼마나 기여하는가?
• RQ4 엔드 투 엔드 궤적 예측 시스템에 레이더 데이터를 통합할 경우 지연 부담은 어느 정도인가?
• RQ5 레이더가 가림 또는 낮은 점 밀도 상황에서 탐지 성능을 향상시킬 수 있는가?

주요 결과

• LiRaNet는 라이다 단독 기반 모델 대비 고가속도 물체의 궤적 예측 오차를 52% 감소시켰다.
• 레이저 포인트 밀도가 낮은 장거리 물체의 경우 16%의 예측 오차 감소가 관찰되었다.
• 레이더 추가 시 nuScenes에서 AP0.5가 7.57포인트 향상되었고, X17k에서는 2.30포인트 향상되었다.
• 레이더 통합으로 인한 런타임 영향은 극히 미미하여, 0.5초의 레이더 이력이 있을 경우 지연이 38.02ms에서 40.98ms로 뿐이 증가하였다(3.5ms 증가).
• 정성적 결과는 레이더가 가림, 고속, 낮은 점 밀도 상황에서 예측 성능을 크게 향상시킨다는 것을 보여주었다.
• 레이더의 추가로 다중 모드 예측에서 모드 모호성이 해소되어, 안전하지 않은 차선 변경이나 급격한 회전과 같은 잘못된 궤적 가설이 감소하였다.