[논문 리뷰] Congestion-aware Multi-agent Trajectory Prediction for Collision Avoidance

Xu Xie, Chi Zhang외 3명|arXiv (Cornell University)|2021. 03. 26.

Autonomous Vehicle Technology and Safety참고 문헌 84인용 수 5

한 줄 요약

이 논문은 그래프 기반 변분 자동인코더와 교사-학생 distillation 기법을 사용하여 교통 혼잡을 잠재적 맥락적 신호로 명시적으로 모델링하는 혼잡도 인지 다중 에이전트 궤적 예측 프레임워크를 제안한다. 학습된 혼잡 패턴을 통해 물리적 직관(사회력)과 계획 기반 추론(거리 비용)을 통합함으로써 충돌 없는 궤적 예측을 달성하였으며, 충돌 회피를 위한 합성 데이터셋에서 베이스라인을 능가하고, 실세계 고속도로 데이터셋인 NGSIM US-101에서도 경쟁력을 유지한다.

ABSTRACT

Predicting agents' future trajectories plays a crucial role in modern AI systems, yet it is challenging due to intricate interactions exhibited in multi-agent systems, especially when it comes to collision avoidance. To address this challenge, we propose to learn congestion patterns as contextual cues explicitly and devise a novel "Sense--Learn--Reason--Predict" framework by exploiting advantages of three different doctrines of thought, which yields the following desirable benefits: (i) Representing congestion as contextual cues via latent factors subsumes the concept of social force commonly used in physics-based approaches and implicitly encodes the distance as a cost, similar to the way a planning-based method models the environment. (ii) By decomposing the learning phases into two stages, a "student" can learn contextual cues from a "teacher" while generating collision-free trajectories. To make the framework computationally tractable, we formulate it as an optimization problem and derive an upper bound by leveraging the variational parametrization. In experiments, we demonstrate that the proposed model is able to generate collision-free trajectory predictions in a synthetic dataset designed for collision avoidance evaluation and remains competitive on the commonly used NGSIM US-101 highway dataset.

연구 동기 및 목표

• 밀집된 교통 환경에서의 충돌 회피 문제를 해결하기 위해 다중 에이전트 궤적 예측의 과제를 다루는 것.
• 혼잡도 패턴과 같은 고수준 맥락적 신호를 학습함으로써 패턴 기반 모델의 인덕티브 바이어스를 향상시키는 것.
• 물리 기반, 패턴 기반, 계획 기반 접근 방식의 원리를 통합하여 통합된 '감지–학습–이해–예측' 프레임워크를 만드는 것.
• 혼잡도를 다중 모드 잠재 표현으로 명시적으로 모델링하여 충돌 없는 궤적 예측을 가능하게 하는 것.
• 제안된 방법을 충돌 회피 벤치마크와 실세계 고속도로 데이터셋 모두에서 검증하는 것.

제안 방법

• 프레임워크는 에이전트를 노드로, 에이전트 간 거리를 간선으로 하는 그래프 컬러레이션 네트워크(GCN)-VAE를 통해 다중 모드 혼잡 패턴을 학습하는 교사 모델을 사용한다.
• 교사 모델은 혼잡 상태(예: 교차로에서의 추월 또는 양보)를 나타내는 잠재 요인의 혼합 정규분포(GMM)로 혼잡을 인코딩한다.
• 학생 모델은 대조적 풀링 모듈(CPM)을 통해 교사가 학습한 혼잡 패턴을 따라 궤적을 예측하도록 훈련된다.
• 방식적으로 파arametrization을 통해 상한선을 유도하는 최적화 문제로 궤적 예측을 공식화함으로써 계산의 타당성을 확보한다.
• 학생 모델은 궤적 정확도(L1)와 혼잡 패턴 분포 일치(L2)를 위한 두 가지 손실 항목을 사용하여 훈련된다.
• 프레임워크는 LSTM 기반 모델을 포함한 다양한 인코더-풀링-디코더 아키텍처와 호환되며, 혼합 성분 수에 대한 분석 실험도 지원한다.

실험 결과

연구 질문

• RQ1 혼잡 패턴이 다중 모드 잠재 표현으로 효과적으로 모델링될 수 있는가? 이를 통해 충돌 없는 궤적 예측 성능이 향상되는가?
• RQ2 혼잡도 지식을 전달하는 교사-학생 distillation 접근 방식이 궤적 예측 성능과 안전성 향상에 기여하는가?
• RQ3 물리적 제약(예: 사회력), 데이터 기반 패턴, 합리적 의사결정(계획)을 통합한 통합 프레임워크가 일반화 성능 향상에 기여하는가?
• RQ4 GMM를 통해 혼잡도를 분포로 모델링하는 것과 잠재 특징을 직접 일치시키는 것 간의 성능 및 강건성 비교는 어떻게 되는가?
• RQ5 실세계 교통 환경와 관련하여 혼잡 패턴의 최적 혼합 성분 수는 얼마인가?

주요 결과

• 제안된 모델은 충돌 회피 평가를 위해 특별히 설계된 합성 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• NGSIM US-101 고속도로 데이터셋에서는 기존 방법들과 경쟁력을 유지하며, 실세계 교통 환경에 대한 일반화 능력을 입증한다.
• 정성적 결과에서는 모델이 고위험 상황(예: 공격적인 차량 진입)에서 감속 및 교차로에서의 양보와 같은 안전한 행동을 예측함을 확인할 수 있다.
• 기존의 베이스라인들은 추월 시 lateral 간격을 유지하지 못하거나 발산하는 반면, 본 모델은 적절한 횡방향 간격을 유지하며 추월 행동을 성공적으로 포착한다.
• 분석 실험 결과, 잠재 특징을 직접 일치시키는 것보다 다중 모드 GMM로 혼잡 패턴을 모델링하는 것이 성능 향상에 크게 기여함을 확인하였다.
• 혼잡 모드의 실제 수와 일치하는 GMM 성분 수를 사용할 경우 모델의 성능이 최적화됨을 확인하였으며, 이는 설계 선택의 타당성을 입증한다.