[논문 리뷰] Vehicle trajectory prediction in top-view image sequences based on deep learning method

Zahra Salahshoori Nejad, Hamed Heravi외 3명|arXiv (Cornell University)|2021. 02. 02.

Traffic Prediction and Management Techniques인용 수 6

한 줄 요약

이 논문은 상위 시각 항공 이미지 시퀀스에서 차량 궤적 예측을 위한 경량 딥러닝 모델을 제안한다. 인코더-디코더 아키텍처에 사회적 텐서를 통합하여 주변 차량 간의 상호작용을 포착한다. 고유의 HighD 기반 데이터셋으로 훈련된 모델은 5초간 예측에서 RMSE 1.91을 기록하며, 계산 복잡도가 낮음에도 불구하고 기존 방법보다 정확도에서 뛰어나다.

ABSTRACT

Annually, a large number of injuries and deaths around the world are related to motor vehicle accidents. This value has recently been reduced to some extent, via the use of driver-assistance systems. Developing driver-assistance systems (i.e., automated driving systems) can play a crucial role in reducing this number. Estimating and predicting surrounding vehicles' movement is essential for an automated vehicle and advanced safety systems. Moreover, predicting the trajectory is influenced by numerous factors, such as drivers' behavior during accidents, history of the vehicle's movement and the surrounding vehicles, and their position on the traffic scene. The vehicle must move over a safe path in traffic and react to other drivers' unpredictable behaviors in the shortest time. Herein, to predict automated vehicles' path, a model with low computational complexity is proposed, which is trained by images taken from the road's aerial image. Our method is based on an encoder-decoder model that utilizes a social tensor to model the effect of the surrounding vehicles' movement on the target vehicle. The proposed model can predict the vehicle's future path in any freeway only by viewing the images related to the history of the target vehicle's movement and its neighbors. Deep learning was used as a tool for extracting the features of these images. Using the HighD database, an image dataset of the road's aerial image was created, and the model's performance was evaluated on this new database. We achieved the RMSE of 1.91 for the next 5 seconds and found that the proposed method had less error than the best path-prediction methods in previous studies.

연구 동기 및 목표

• 상위 시각 이미지 시퀀스를 사용하여 자율 주행 차량의 궤적 예측 정확도를 향상시키기 위해.
• 사회적 텐서 메커니즘을 통해 주변 차량이 대상 차량의 운동에 미치는 영향을 모델링하기 위해.
• 자율 주행 시스템에 실시간 구현에 적합한 계산 복잡도가 낮은 모델을 개발하기 위해.
• 훈련 및 평가를 위해 HighD 데이터베이스에서 파생된 새로운 항공 이미지 데이터셋을 구축하고 활용하기 위해.
• 복잡한 교통 상황에서 종단간 궤적 예측에서 기존 방법보다 예측 오차를 줄이기 위해.

제안 방법

• 모델은 교통 상황의 상위 시각 이미지 시퀀스를 처리하기 위해 인코더-디코더 아키텍처를 사용한다.
• 합성곱 신경망(CNN)이 시퀀스의 각 이미지 프레임에서 공간적 특징을 추출한다.
• 사회적 텐서는 주변 차량의 상대적 위치와 운동을 인코딩하여 차량 간 상호작용을 포착한다.
• 디코더는 인코딩된 특징과 사회적 텐서 표현에 주목하여 향후 궤적 예측을 생성한다.
• 모델은 향후 궤적 좌표에 대한 평균 제곱오차(MSE) 손실 함수를 사용하여 종단간으로 훈련된다.
• 훈련 및 평가를 지원하기 위해 HighD 데이터셋에서 파생된 고유의 항공 이미지 데이터셋을 구축하였다.

실험 결과

연구 질문

• RQ1 상위 시각 이미지 시퀀스로 훈련된 딥러닝 모델이 복잡한 교통 환경에서 차량 궤적을 정확하게 예측할 수 있는가?
• RQ2 사회적 텐서 메커니즘은 대상 차량의 운동에 주변 차량의 영향을 얼마나 효과적으로 모델링하는가?
• RQ3 제안된 방법은 궤적 예측에서 최신 기술보다 낮은 예측 오차를 달성하는가?
• RQ4 높은 정확도를 유지하면서도 모델이 낮은 계산 복잡도를 유지를 하는 정도는 어느 정도인가?
• RQ5 오직 이미지 기반 입력만을 사용하여 모델이 새로운 고속도로 시나리오에 일반화 가능한가?

주요 결과

• 제안된 모델은 5초 향후 궤적 예측에서 RMSE 1.91을 기록하며, 기존 방법보다 뛰어난 성능을 보였다.
• 사회적 텐서의 통합은 차량 간 상호작용을 모델링함으로써 예측 정확도를 크게 향상시켰다.
• 모델은 낮은 계산 복잡도를 유지하여 자율 주행 시스템에서 실시간 구현에 적합하다.
• HighD에서 유도된 고유의 항공 이미지 데이터셋은 이미지 기반 궤적 예측 모델의 효과적 훈련 및 평가를 가능하게 하였다.
• 오직 목표 차량과 주변 차량의 시각적 입력만을 사용하여도 모델은 새로운 고속도로 시나리오에 잘 일반화된다.
• 모델은 명시적인 운동 모델이나 이미지 시퀀스 외의 궤적 이력에 의존하지 않으며, 다양한 교통 조건에서 뛰어난 강건성과 정확도를 보였다.