[논문 리뷰] Multimodal Trajectory Prediction Conditioned on Lane-Graph Traversals

Nachiket Deo, Eric M. Wolff외 1명|arXiv (Cornell University)|2021. 06. 28.

Autonomous Vehicle Technology and Safety참고 문헌 28인용 수 16

한 줄 요약

이 논문은 이산 정책과 잠재 변수를 통해 학습된 차선 그래프 이동 경로에 조건을 부여하여 종방향 변동성을 모델링하는 새로운 다중모odal 궤적 예측 모델을 제안한다. 이동 경로에 기반해 장면의 맥락을 선택적으로 집계하고, 운동 프로파일을 모델링하기 위해 잠재 변수를 사용함으로써, 경로 및 운동 프로파일 예측에서 높은 장면 준수성과 다양성을 확보하면서 nuScenes에서 최고 성능을 달성한다.

ABSTRACT

Accurately predicting the future motion of surrounding vehicles requires reasoning about the inherent uncertainty in driving behavior. This uncertainty can be loosely decoupled into lateral (e.g., keeping lane, turning) and longitudinal (e.g., accelerating, braking). We present a novel method that combines learned discrete policy rollouts with a focused decoder on subsets of the lane graph. The policy rollouts explore different goals given current observations, ensuring that the model captures lateral variability. Longitudinal variability is captured by our latent variable model decoder that is conditioned on various subsets of the lane graph. Our model achieves state-of-the-art performance on the nuScenes motion prediction dataset, and qualitatively demonstrates excellent scene compliance. Detailed ablations highlight the importance of the policy rollouts and the decoder architecture.

연구 동기 및 목표

• 자율주행 환경에서 불확실성 하에 존재하는 다중모달 궤적 예측 문제를 해결하기 위해.
• 구조적인 고정밀도 지ap 정보를 활용하여 장면 준수성을 향상시키고 도로 외부 예측을 줄이기 위해.
• 경로 선택(횡방향 변동성)과 속도/가속도(종방향 변동성)를 분리된 방식으로 명시적으로 모델링하기 위해.
• 차선 그래프 이동 경로에서 선택적 맥락을 조건으로 삼음으로써 디코더의 표현 부담을 줄이기 위해.
• 해석 가능성과 장면 준수성을 유지하면서 nuScenes 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 모델은 고정밀도(HD) 지도와 에이전트 궤적을 구조적인 차선 그래프 표현으로 인코딩하기 위해 그래프 신경망을 사용한다.
• 이산 행동 클로닝 정책이 차선 그래프 상에서 확률적 롤아웃을 생성하여 예측을 조건화하는 유의미한 미래 이동 경로를 샘플링한다.
• 각 예측은 샘플링된 이동 경로에 해당하는 차선 그래프의 부분집합에 조건을 부여함으로써, 디코더가 관련 맥락을 추론할 필요를 줄인다.
• 잠재 변수는 이동 경로에 조건을 부여하여 종방향 변동성, 예를 들어 가속도 및 속도 변화를 모델링한다.
• 디코더는 이동 경로와 잠재 변수를 조합하여 다양한 장면 준수 궤적을 생성함으로써, 경로와 운동 프로파일 양쪽에서 다양성을 확보한다.
• 정확도와 다양성을 동시에 최적화하기 위해 회귀 및 가능도 목표를 조합한 다중작업 손실을 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 학습된 차선 그래프 이동 경로에 조건을 부여함으로써 경로 다양성과 장면 준수성을 향상시킬 수 있는가?
• RQ2 종방향 운동 프로파일에 대해 잠재 변수를 도입함으로써 속도 및 가속도 패턴의 다양성이 향상되는가?
• RQ3 이동 경로 기반 맥락 선택과 잠재 변수 모델링의 조합이, 종래의 엔드 투 엔드 맥락 인코딩에 비해 예측 품질과 도로 외부 예측 비율 측면에서 어떻게 비교되는가?
• RQ4 근접한 간선, 에이전트-노드 어텐션, GNN 계층이 모델 성능에 기여하는 정도는 어느 정도인가?
• RQ5 모델은 해석 가능성과 강건성을 유지하면서 nuScenes 데이터셋에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 모델은 nuScenes 데이터셋에서 최고 성능을 기록하였으며, MinADE는 1.31 m, MissRate는 0.37을 기록하였다.
• 기존 모델들과 비교해 도로 외부 예측 비율을 크게 감소시켰으며, 'Traversals + LV' 디코더가 모든 아블레이션 중에서 가장 낮은 도로 외부 예측 비율을 기록하였다.
• 'Traversals + LV' 디코더는 평균 1.41개의 다른 최종 차선(K=10 기준)을 기록하여 가장 높은 횡방향 다양성을 확보하였고, 속도 및 가속도 분산 측면에서도 종방향 다양성이 증가하였다.
• 아블레이션 연구 결과, 이동 경로와 잠재 변수 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능 저하와 다양성 감소가 뚜렷하게 나타났다.
• 이동 경로에만 조건을 부여한 디코더는 경로 다양성을 잘 포착하지만 운동 프로파일의 변동성이 부족하고, 잠재 변수만을 사용한 디코더는 운동 다양성은 잘 포착하지만 여러 경로를 탐색하지 못한다.
• 모델은 복잡한 교차로 및 경로 제한 환경을 포함한 다양한 시나리오에서 장면 준수 궤적을 질적으로 잘 생성한다. 이 경우 예측 예산을 활용해 종방향 다양성을 높이고 있다.