[논문 리뷰] Interaction-Aware Trajectory Prediction of Connected Vehicles using CNN-LSTM Networks

Xiaoyu Mo, Yang Xing외 1명|arXiv (Cornell University)|2020. 05. 25.

Autonomous Vehicle Technology and Safety참고 문헌 24인용 수 6

한 줄 요약

이 논문은 연결 차량에서 상호작용 인식 가능 궤적 예측을 위한 CNN-LSTM 모델을 제안한다. 공유 가중치를 가진 LSTM을 사용해 개별 차량의 동역학을 인코딩하고, 3×3 방향성 격자와 2층의 CNN을 활용해 공간적 상호작용 특징을 추출한다. 모델은 이전 방법들을 능가하며, 횡방향 이동이 시작되기 전에 차선 변경을 정확하게 예측하고, 낮은 RMSE를 달성한다.

ABSTRACT

Predicting the future trajectory of a surrounding vehicle in congested traffic is one of the basic abilities of an autonomous vehicle. In congestion, a vehicle's future movement is the result of its interaction with surrounding vehicles. A vehicle in congestion may have many neighbors in a relatively short distance, while only a small part of neighbors affect its future trajectory mostly. In this work, An interaction-aware method which predicts the future trajectory of an ego vehicle considering its interaction with eight surrounding vehicles is proposed. The dynamics of vehicles are encoded by LSTMs with shared weights, and the interaction is extracted with a simple CNN. The proposed model is trained and tested on trajectories extracted from the publicly accessible NGSIM US-101 dataset. Quantitative experimental results show that the proposed model outperforms previous models in terms of root-mean-square error (RMSE). Results visualization shows that the model is able to predict future trajectory induced by lane change before the vehicle operate obvious lateral movement to initiate lane changing.

연구 동기 및 목표

• 혼잡한 교통 상황에서 차량 간 상호작용을 명시적으로 모델링하여 궤적 예측 정확도를 향상시키기 위해.
• 개별 차량의 동역학과 주변 차량 간 공간적 상호작용을 모두 포괄하는 딥 러닝 프레임워크를 개발하기 위해.
• 가장 횡방향 이동이 시작되기 전에 복잡한 운전 동작(예: 차선 변경)을 조기에 예측할 수 있도록 하기 위해.
• NGSIM US-101 데이터셋을 활용해 상호작용 인식 가능 궤적 예측 모델의 훈련 및 평가를 수행하기 위해.
• 차량 간 상호작용을 모델링할 때, 완전 연결 층 대비 CNN을 통한 계층적 특징 추출이 더 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 공유 가중치를 가진 LSTM이 이동 차량과 최대 8대의 주변 차량의 역사적 궤적 시퀀스에서 시간적 동역학을 인코딩한다.
• 차량 간 상호작용은 이동 차량 기준 상대적인 방향에 따라 LSTM 출력을 3×3 방향성 격자로 배열함으로써 인코딩되며, 절대 위치가 아닌 방향 기반의 공간적 구조를 유지한다.
• 두 층의 컨볼루션 신경망(CNN)이 방향성 격로부터 계층적 상호작용 특징을 추출하여 국소적에서 전역적 상호작용 패턴을 모델링한다.
• 인코딩된 이동 차량의 동역학과 CNN을 통해 추출된 상호작용 특징이 결합되어 최종 LSTM 디코더에 입력되어 향후 이동 차량 궤적을 예측한다.
• 모델은 NGSIM US-101 데이터셋에서 평균 제곱오차 손실을 사용해 엔드 투 엔드로 훈련된다.
• 제거 분석에서는 전체 모델을 이동 차량 동역학만, 상호작용만, 또는 완전 연결 층을 CNN 대체로 사용한 변형 모델과 비교한다.

실험 결과

연구 질문

• RQ1 방향성 공간 인코딩을 사용해 밀도 높은 교통 상황에서 차량 간 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 상호작용 인식 특징을 통합함으로써, 상호작용을 무시하는 모델 대비 궤적 예측 정확도가 향상되는가?
• RQ3 관측 가능한 횡방향 이동이 시작되기 전에 모델이 차선 변경을 예측할 수 있는가?
• RQ4 차량 간 상호작용을 모델링할 때, 완전 연결 층 대비 CNN을 통한 계층적 특징 추출 방식이 더 우수한가?
• RQ5 예측 헤드에서 이동 차량 동역학을 상호작용 특징과 별도로 포함시키는 것이 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 CNN-LSTM 모델은 비교된 모든 모델 중에서 가장 낮은 루트 평균 제곱 오차(RMSE)를 기록하여 뛰어난 예측 정확도를 입증한다.
• 궤적 시각화를 통해 사전 차선 변경 상황에서 횡방향 이동이 시작되기 전에 차선 변경 운전 동작을 성공적으로 예측함을 확인할 수 있었다.
• 제거 분석 결과, 상호작용 특징과 이동 차량 동역학을 함께 사용할 경우 상호작용 특징만 사용하는 경우보다 더 우수한 성능을 내는 것으로 나타났다.
• 완전 연결 층 대비 CNN 기반 상호작용 추출기가 더 뛰어난 성능을 보였으며, 이는 국소적에서 전역적 공간 특징 학습이 상호작용 모델링에 더 효과적임을 시사한다.
• 상호작용을 무시하는 순수한 LSTM 모델은 가장 열악한 성능을 보였으며, 이는 상호작용 인식 모델링의 중요성을 확인한다.
• 모델은 복잡한 운전 동작(예: 차선 변경)을 예측할 때도 강력한 성능 유지를 보였으며, 변경 중 및 변경 후 단계를 정확히 구분할 수 있었다.