[논문 리뷰] Online Vehicle Trajectory Prediction using Policy Anticipation Network and Optimization-based Context Reasoning

Wenchao Ding, Shaojie Shen|arXiv (Cornell University)|2019. 03. 03.

Autonomous Vehicle Technology and Safety참고 문헌 25인용 수 7

한 줄 요약

이 논문은 LSTM를 사용하여 고수준 주행 행동(예: 좌회전, 양보 등)을 예측하는 정책 예측 네트워크와 도로 구조, 교통 규칙 등 복잡한 도시 요소를 다층 비용 맵에 인코딩하는 최적화 기반의 맥락 추론 모듈을 조합한 온라인 이중 수준 차량 궤적 예측 프레임워크를 제안한다. 이 방법은 다양한 도시 환경에서 기준 모델 대비 44–56% 높은 정확도를 달성하며, 예측당 22.6ms 내외로 실행되어 자율주행 시스템에 대한 강건성과 실시간 구현 가능성을 입증한다.

ABSTRACT

In this paper, we present an online two-level vehicle trajectory prediction framework for urban autonomous driving where there are complex contextual factors, such as lane geometries, road constructions, traffic regulations and moving agents. Our method combines high-level policy anticipation with low-level context reasoning. We leverage a long short-term memory (LSTM) network to anticipate the vehicle's driving policy (e.g., forward, yield, turn left, turn right, etc.) using its sequential history observations. The policy is then used to guide a low-level optimization-based context reasoning process. We show that it is essential to incorporate the prior policy anticipation due to the multimodal nature of the future trajectory. Moreover, contrary to existing regression-based trajectory prediction methods, our optimization-based reasoning process can cope with complex contextual factors. The final output of the two-level reasoning process is a continuous trajectory that automatically adapts to different traffic configurations and accurately predicts future vehicle motions. The performance of the proposed framework is analyzed and validated in an emerging autonomous driving simulation platform (CARLA).

연구 동기 및 목표

• 복잡한 도시 환경에서 향후 차량 궤적이 다중 모드성을 띠는 문제를 해결하기 위해, 예를 들어 좌회전, 양보, 직진 등의 다양한 의도가 다른 운동 패tern을 유도함을 고려한다.
• 고수준 행동 의도 인식과 저수준 맥락 인식 최적화를 통합하여 궤적 예측 정확도를 향상시킨다.
• 도로 기하학, 교통 규칙, 공사 현장, 동적 에이전트 등의 다양한 맥락적 요소에 유연하게 적응할 수 있도록 모델 재구성 없이도 확장 가능한 프레임워크를 개발한다.
• 온라인 자율주행 응용에 적합한 실시간 성능을 확보하기 위해, 낮은 추론 지연과 다양한 교통 상황에서의 강건성을 확보한다.

제안 방법

• 순차적인 차량 관측치로부터 고수준 주행 정책(예: 전진, 좌회전, 양보 등)을 예측하기 위해 장기적 단기 기억(LSTM) 네트워크를 사용한다.
• 예측된 정책은 정책 해석기(Interpreter)를 통해 초기 궤적 추측으로 변환되며, 이는 후속 최적화 과정을 안내한다.
• 다층 2차원 비용 맵 구조는 도로 경계, 도로 공사, 신호등, 기타 에이전트 등의 다양한 맥락적 요소를 통합된 최적화 목표로 인코딩한다.
• 비선형 최적화는 궤적의 매끄러움, 도로 기하학 준수, 교통 규칙 준수, 동적 에이전트와의 상호작용을 균형 있게 고려하는 복합 비용 함수를 최소화한다.
• 최적화 과정은 정책에 의해 안내된 궤적 추측으로 초기화되어, 의도된 행동 모드로의 수렴을 보장하고 예측 정확도를 향상시킨다.
• 프레임워크는 CARLA 자율주행 시뮬레이션 플랫폼에서 훈련 및 검증되었으며, 엔드 투 엔드 온라인 추론이 가능하다.

실험 결과

연구 질문

• RQ1 어떻게 순차적인 차량 관측치로부터 고수준 주행 정책(예: 회전, 양보 등)을 효과적으로 예측하여 궤적 예측을 안내할 수 있는가?
• RQ2 정책 예측을 통합할 경우, 다중 모드 도시 주행 상황에서 예측 정확도가 어느 정도 향상되는가?
• RQ3 최적화 기반 추론 프레임워크는 도로 공사, 신호등, 보행자 횡단선 등 다양한 맥락적 요소를 통합된 비용 맵에 얼마나 잘 통합할 수 있는가?
• RQ4 제안된 프레임워크는 정상 및 비정상 주행 행동을 포함한 다양한 교통 구성 조건에서 실시간으로 어떻게 성능을 발휘하는가?

주요 결과

• 곡선 도로 시나리오에서 제안된 방법은 기준 모델 대비 44%의 정확도 향상을 달성했으며, 최대순간 예측 오차는 6.3m에서 3m로 감소했다.
• 도로 공사가 있는 교차로 시나리오에서 최종 예측 프레임에서 56%의 정확도 향상을 기록하여 고수준 정책 예측의 핵심적 역할을 입증했다.
• 보행자 횡단에 대응해 갑작스러운 브레이킹 행동을 성공적으로 예측한 반면, 기준 회귀 기반 모델은 이러한 의도를 포착하지 못해 상호작용 추론 능력 향상을 보였다.
• 예측당 평균 엔드 투 엔드 추론 시간이 22.6ms로 실시간 성능을 확보했으며, 비용 맵 렲영에 16.2ms, 비선형 최적화에 3.4ms가 소요되었다.
• 최적화 기반 맥락 추론 모듈은 도로 기하학, 신호 위반, 다중 에이전트 상호작용 등 복잡한 구성 요소를 통합된 비용 맵에 효과적으로 인코딩하여 유연하게 적응했다.
• 정상 주행, 보행자 상호작용, 빨간 신호 위반과 같은 비정상 행동을 포함한 다섯 가지의 독립된 테스트 케이스에서 프레임워크는 강건성과 유연성을 입증했다.