[논문 리뷰] Joint Interaction and Trajectory Prediction for Autonomous Driving using Graph Neural Networks

Donsuk Lee, Yiming Gu외 2명|arXiv (Cornell University)|2019. 12. 17.

Autonomous Vehicle Technology and Safety참고 문헌 24인용 수 30

한 줄 요약

이 논문은 향후 궤적에서 유도된 약한 지도 학습 레이블 함수를 사용하여 교통 상황에서 차량 궤적과 이산적 상호작용 모드(예: 양보 또는 우선 주행)를 동시에 예측하는 그래프 신경망을 제안한다. 모델은 쌍별 상호작용 의도를 명시적으로 모델링함으로써 최신 기술 수준의 궤적 예측 정확도를 달성하며, 대규모 실생활 데이터셋에서 평균 이동 오차가 1.579m로 기록되었고, 인간 레이블 없이도 의미 있는 상호작용 모드를 학습한다.

ABSTRACT

In this work, we aim to predict the future motion of vehicles in a traffic scene by explicitly modeling their pairwise interactions. Specifically, we propose a graph neural network that jointly predicts the discrete interaction modes and 5-second future trajectories for all agents in the scene. Our model infers an interaction graph whose nodes are agents and whose edges capture the long-term interaction intents among the agents. In order to train the model to recognize known modes of interaction, we introduce an auto-labeling function to generate ground truth interaction labels. Using a large-scale real-world driving dataset, we demonstrate that jointly predicting the trajectories along with the explicit interaction types leads to significantly lower trajectory error than baseline methods. Finally, we show through simulation studies that the learned interaction modes are semantically meaningful.

연구 동기 및 목표

• 자율 주행에서 차량, 보행자 및 기타 에이전트 간의 상호작용을 명시적으로 모델링하여 궤적 예측 성능을 향상시키기 위해.
• 그래프 신경망을 사용하여 미래 궤적과 이산적 상호작용 유형(예: 양보, 우선 주행 등)을 동시에 예측하는 방법을 개발하기 위해.
• 상호작용 레이블의 비용이 높은 인간 레이블링에 의존도를 줄이기 위해, 히우리스틱 기반 자동 레이블링 함수를 도입하기 위해.
• 상호작용 유형을 모델링하는 것이 복잡한 교통 상황에서 궤적 예측 정확도와 해석 가능성에 미치는 영향을 평가하기 위해.
• 시뮬레이션 및 추론 분석을 통해 학습된 상호작용 모드가 의미적으로 유의미한지 입증하기 위해.

제안 방법

• 노드는 에이전트를, 간선은 그들 간의 쌍별 상호작용 의도를 나타내는 그래프 신경망을 구성하며, 간선 특징은 메시지 전파를 통해 학습된다.
• 다중 헤드 예측 헤드를 사용하여 궤적과 이산적 상호작용 유형을 동시에 예측하며, 궤적 예측과 상호작용 분류에 각각 별도의 손실 항목을 적용한다.
• 자동 레이블링 함수는 향후 궤적 데이터에서 히우리스틱을 사용해 상호작용 레이블을 생성한다: 예를 들어, 한 에이전트가 멈추고 다른 에이전트가 진행하는 경우, 첫 번째 에이전트는 '양보'로 레이블링된다.
• 상호작용 유형은 이산 변수로 모델링되며(예: '양보', '우선 주행', '무시'), 그래프 구조는 에이전트 간 거리와 상대 운동에 따라 동적으로 갱신된다.
• 모델은 궤적 예측을 위한 MSE 손실과 상호작용 유형 분류를 위한 교차 엔트로피 손실의 가중 조합으로 훈련되며, 하이퍼파ram터 α가 균형을 조절한다.
• 추론 연구는 지도 학습 대비 비지도 학습 상호작용 학습을 비교하며, 특정 간선 유형(예: '무시' 간선)을 그래프에 포함하거나 제거했을 때의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 상호작용을 무시하는 모델과 비교해 복합적인 궤적과 이산적 상호작용 유형을 동시에 예측하는 것이 궤적 예측 정확도를 향상시키는가?
• RQ2 상호작용을 이산적이고 해석 가능한 변수로 모델링하면 자율 주행 시스템에서 더 의미 있고 설명 가능한 행동을 유도하는가?
• RQ3 히우리스틱 기반 자동 레이블링 함수는 인간의 레이블 없이도 신뢰할 수 있는 상호작용 레이블을 생성하는 데 얼마나 효과적인가?
• RQ4 '무시' 상호작용 간선을 포함시키는 것이 모델 성능과 해석 가능성에 어떤 영향을 미치는가?
• RQ5 약한 레이블이 있는 데이터를 사용할 때, 비지도 학습 상호작용 학습이 지도 학습을 능가하는가?

주요 결과

• 통합 예측 모델은 평균 이동 오차(DPE)가 1.579m로 기준 RNN 모델(2.051m)과 모든 다른 변형보다 뚜렷이 뛰어나다.
• 비지도 학습 상호작용 학습을 적용한 모델(1.579m DPE)이 지도 학습 버전(1.611m DPE)을 略로 뛰어넘어, 자동 레이블링 함수의 향상 여지가 있음을 시사한다.
• 그래프에 '무시' 간선을 포함시킴으로써 성능 향상이 이루어져, 비상호작용도 모델링하는 것이 궤적 예측에 유리함을 보여준다.
• 지상 진실 상호작용 유형을 사용하는 오라클 모델은 최고 성능(1.638m DPE)을 기록하여, 상호작용 모델링이 궤적 정확도 향상에 기여함을 확인한다.
• 지도 기반 및 시나리오 컨텍스트를 고려한 모델 [11]과 비교해도, 지도 정보를 사용하지 않음에도 불구하고 연착오차(0.477m 대비 0.334m)에서 유사한 성능을 달성한다.
• 시뮬레이션 연구는 예측된 상호작용 모드가 의미적으로 유의미하며, 궤적이 의도된 상호작용 행동(예: 양보 또는 우선 주행)과 일관됨을 확인한다.