[논문 리뷰] Spatio-Temporal Look-Ahead Trajectory Prediction using Memory Neural Network

N.J. Rao, Suresh Sundaram|arXiv (Cornell University)|2021. 02. 24.

Autonomous Vehicle Technology and Safety참고 문헌 46인용 수 5

한 줄 요약

이 논문은 교통 에이전트의 시공간적 궤적 예측을 위한 새로운 메모리 뉴런 네트워크(MNN)를 제안한다. 이 네트워크는 반복 메모리 유닛을 활용하여 LSTMs나 GRUs보다 더 효율적으로 장기 의존성을 모델링한다. MNN는 5초 예측 수평에서 기존 최고 성능 모델 대비 20% 낮은 RMSE를 기록하며, 악성 차량이 존재하는 CARLA 시뮬레이션 환경에서도 실시간으로 안정적으로 작동함을 입증한다.

ABSTRACT

Prognostication of vehicle trajectories in unknown environments is intrinsically a challenging and difficult problem to solve. The behavior of such vehicles is highly influenced by surrounding traffic, road conditions, and rogue participants present in the environment. Moreover, the presence of pedestrians, traffic lights, stop signs, etc., makes it much harder to infer the behavior of various traffic agents. This paper attempts to solve the problem of Spatio-temporal look-ahead trajectory prediction using a novel recurrent neural network called the Memory Neuron Network. The Memory Neuron Network (MNN) attempts to capture the input-output relationship between the past positions and the future positions of the traffic agents. The proposed model is computationally less intensive and has a simple architecture as compared to other deep learning models that utilize LSTMs and GRUs. It is then evaluated on the publicly available NGSIM dataset and its performance is compared with several state-of-art algorithms. Additionally, the performance is also evaluated on a custom synthetic dataset generated from the CARLA simulator. It is seen that the proposed model outperforms the existing state-of-art algorithms. Finally, the model is integrated with the CARLA simulator to test its robustness in real-time traffic scenarios.

연구 동기 및 목표

• 복잡하고 예측 불가능한 교통 환경에서 높은 정확도와 낮은 계산 비용을 동시에 확보하는 차량 궤적 예측 문제를 해결하기 위해.
• LSTM 및 GRU 기반 모델의 대안으로 경량이며 계산 효율성이 뛰어난 궤적 예측 모델을 개발하기 위해.
• 실제 NGSIM 데이터와 악성 차량이 포함된 합성 데이터를 활용하여 극단적인 상황에서도 모델의 강건성을 평가하기 위해.
• CARLA 시뮬레이터를 사용한 동적 교통 시뮬레이션 환경에서 실시간 배포 능력을 검증하기 위해.

제안 방법

• 메모리 뉴런 네트워크(MNN)는 각 뉴런이 시간 정보를 저장하는 메모리 요소를 내장한 새로운 순환 신경망이다.
• MNN는 과거 궤적 시퀀스와 미래 예측 간의 입력-출력 관계를 엔드 투 엔드 학습을 통해 모델링한다.
• 모델은 과거 위치 시퀀스를 기반으로 향후 위치를 예측하기 위해 평균 제곱오차(MSE) 손실 함수를 사용해 훈련된다.
• 모델은 NGSIM US-101 데이터셋과 CARLA 시뮬레이터에서 생성한 이질적인 악성 에이전트가 포함된 맞춤형 합성 데이터셋에서 평가된다.
• 실시간 배포를 위해 C++ API를 활용해 훈련된 MNN를 CARLA 내 각 악성 차량의 궤적 계획기와 통합한다.
• MNN의 글로벌 순환성은 이전 레이어의 모든 뉴런 간의 의존성을 포괄적으로 포착함으로써 장기 메모리 유지 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 메모리 증강 순환 네트워크는 기존 딥러닝 모델 대비 낮은 계산 비용으로 시공간 궤적 예측 성능를 향상시킬 수 있는가?
• RQ2 MNN는 실세계 교통 데이터(NGSIM)에서 기존 최고 성능 모델 대비 어떻게 성능을 내는가?
• RQ3 MNN는 시뮬레이션 환경에서 예측 불가능하고 고위험 행동을 보이는 악성 차량의 행동에도 일반화 가능한가?
• RQ4 혼합 차량 유형이 존재하는 실시간 대규모 교통 시뮬레이션에서 모델은 어떻게 성능을 내는가?

주요 결과

• MNN는 NGSIM 데이터셋에서 가장 성능이 뛰어난 베이스라인 대비 1초 예측 수평에서 35% 향상된 RMSE를 기록했으며, 5초 예측 수평에서는 20% 향상된 성능를 보였다.
• MNN는 1초에서 5초 예측 수평으로 갈수록 RMSE 증가 폭이 더 서서히 나타나 다른 모델 대비 더 높은 안정성을 보였다.
• 100대의 차량(20% 악성 차량 포함)이 존재하는 CARLA 시뮬레이션에서 MNN는 직선 경로에서 최소한의 오차로 실시간으로 향후 궤적을 예측하는 데 성공했다.
• 교차로에서의 좌회전 운전 중에는 오차가 더 높은 편이었으며, 이는 지도 인식 기능 부족을 시사하지만, 여전히 정상적인 궤적의 구조를 유지하고 있었다.
• MNN의 경량 아키텍처 덕분에 시뮬레이션 내 모든 악성 차량에 실시간 배포가 가능했으며, 이는 계산 효율성의 확립을 뒷받침한다.
• LSTM의 국소 순환성과는 달리 MNN의 글로벌 순환성은 네트워크 전반에 걸친 장기 의존성 모델링 능력을 향상시킨다.