[논문 리뷰] What-If Motion Prediction for Autonomous Driving

Siddhesh Khandelwal, William Qi외 3명|arXiv (Cornell University)|2020. 08. 24.

Autonomous Vehicle Technology and Safety참고 문헌 45인용 수 23

한 줄 요약

이 논문은 자율주행 차량에서 반사적 운동 예측을 가능하게 하기 위해 기하학적(차선 수준) 및 사회적(운전자-운전자) 관계를 통합하는 순환 그래프 기반 어텐션 모델인 WIMP (What-If Motion Prediction)을 제안한다. 가상의 차선 폴리라인 또는 변경된 사회적 맥락에 조건을 두어 예측함으로써 WIMP는 실시간 플래너 상호작용을 지원하고 인과적 추론을 향상시키며, Argoverse 데이터셋에서 최신 기술 수준의 성능을 달성한다. 또한 기존 벤치마크를 초월하는 해석 가능하고 다양한 궤적 예측을 가능하게 한다.

ABSTRACT

Forecasting the long-term future motion of road actors is a core challenge to the deployment of safe autonomous vehicles (AVs). Viable solutions must account for both the static geometric context, such as road lanes, and dynamic social interactions arising from multiple actors. While recent deep architectures have achieved state-of-the-art performance on distance-based forecasting metrics, these approaches produce forecasts that are predicted without regard to the AV's intended motion plan. In contrast, we propose a recurrent graph-based attentional approach with interpretable geometric (actor-lane) and social (actor-actor) relationships that supports the injection of counterfactual geometric goals and social contexts. Our model can produce diverse predictions conditioned on hypothetical or "what-if" road lanes and multi-actor interactions. We show that such an approach could be used in the planning loop to reason about unobserved causes or unlikely futures that are directly relevant to the AV's intended route.

연구 동기 및 목표

• 기존 자율주행 차량을 위한 운동 예측 모델에서 반사적 추론의 부족을 해결하기 위해.
• 가상의 기하학적 및 사회적 맥락을 통합함으로써 실시간, 플래너-인-더-루프 예측을 가능하게 하기 위해.
• 차선과 운전자 상호작용의 구조적이고 위상적인 모델링을 통해 AV 행동의 해석 가능성과 인과적 이해를 향상시키기 위해.
• 관측되지 않았거나 불가능한 시나리오에 조건이 붙은 다양한 다중모드 궤적 예측을 지원하기 위해.
• 모델이 극단적이거나 상충되는 맥락 입력에 대해 일반화할 수 있음을 보여주어 인과적 학습의 강건성을 나타내기 위해.

제안 방법

• WIMP는 기하학적(차선-차선) 및 사회적(운전자-운전자) 관계를 위한 별도의 어텐션 모듈을 갖춘 순환 그래프 신경망을 사용한다.
• 도로 네트워크를 차선 세그먼트의 방향 그래프로 표현하며, 기저의 차선 위상 구조에서 다각형으로서 위상적 목표를 생성한다.
• 사용자 정의 또는 가상의 폴리라인에 조건을 두어 예측함으로써, 시나리오를 다시 처리하지 않고도 '만약에' 질의를 가능하게 한다.
• 사회적 맥락은 동적 상호작용 그래프를 통해 모델링되며, 운전자를 제거하거나 삽입하여 반사적 시나리오를 시뮬레이션할 수 있다.
• 모델은 래스터화를 피하고, 더 높은 기하학적 정밀도를 확보하기 위해 원시 좌표와 위상적 구조를 직접 처리한다.
• 이전 운동과 조건 입력(불일치하거나 의미적으로 이상한 폴리라인 포함)에 어텐션을 기울임으로써 다양한 예측을 지원한다.

실험 결과

연구 질문

• RQ1 운동 예측 모델은 자율주행 차량 플래닝을 위한 효율적이고 상호작용 가능한 반사적 추론을 지원할 수 있는가?
• RQ2 가상의 차선 폴리라인 또는 변경된 사회적 맥락에 조건을 두었을 때, 예측의 다양성과 현실성은 어떻게 영향을 받는가?
• RQ3 극단적이거나 상충되는 맥락 입력에 적절히 반응함으로써 모델은 운전 행동의 인과적 표현을 학습할 수 있는가?
• RQ4 그래프 기반의 래스터화되지 않은 아키텍처가 장기 예측 벤치마크에서 최신 기술 수준의 방법을 얼마나 뛰어넘을 수 있는가?
• RQ5 충돌하거나 불가능한 기하학적 목표에 조건을 두었을 때 모델의 행동은 어떻게 변화하는가?

주요 결과

• WIMP는 Argoverse 운동 예측 벤치마크에서 최신 기술 수준의 성능을 달성하여, 기존 방법보다 표준 거리 기반 지표에서 뛰어난 성능을 보였다.
• 의미적으로 불일치하는 폴리라인(예: 다른 운전자와 교차하는)에 조건을 두었을 때, 모델은 지도 입력을 무시하고 사회적 및 이전 맥락에 의존함으로써 강건성을 입증했다.
• 반사적 시나리오, 예를 들어 교차로에 정지한 차량을 삽입했을 때, 모델은 공격적인 감속을 정확히 예측하였으며, 최종 속도는 10.3 m/s에서 3.3 m/s로 감소하였다.
• 단일 폴리라인에 조건을 두었을 때조차도, 모델은 입력을 무시하는 궤적을 포함하여 다양한 예측을 생성하였으며, 이는 다중모드 추론을 나타낸다.
• 극단적이거나 불가능한 입력에 대해 신중하게 반응할 수 있는 능력은, 모델이 상관관계가 아닌 인과적 표현을 학습했다는 것을 시사한다.
• 모델는 전체 시나리오 맥락을 다시 처리하지 않고도 관련 미래에 대한 타겟팅 질의를 가능하게 하여 효율적인 플래너 상호작용을 가능하게 한다.