[논문 리뷰] Learning Lane Graph Representations for Motion Forecasting

Ming Liang, Bin Yang외 5명|arXiv (Cornell University)|2020. 07. 27.

Autonomous Vehicle Technology and Safety참고 문헌 31인용 수 37

한 줄 요약

본 논문은 LaneGCN이라는 차선 그래프 기반 모델을 도입하고 액터-맵 융합으로 Argoverse에서 최첨단 성능을 능가합니다. 구조화된 지도 표현을 학습하고 액터와 HD 맵 간의 상호 작용을 모델링하여 다중 모드 모션 예측을 수행합니다.

ABSTRACT

We propose a motion forecasting model that exploits a novel structured map representation as well as actor-map interactions. Instead of encoding vectorized maps as raster images, we construct a lane graph from raw map data to explicitly preserve the map structure. To capture the complex topology and long range dependencies of the lane graph, we propose LaneGCN which extends graph convolutions with multiple adjacency matrices and along-lane dilation. To capture the complex interactions between actors and maps, we exploit a fusion network consisting of four types of interactions, actor-to-lane, lane-to-lane, lane-to-actor and actor-to-actor. Powered by LaneGCN and actor-map interactions, our model is able to predict accurate and realistic multi-modal trajectories. Our approach significantly outperforms the state-of-the-art on the large scale Argoverse motion forecasting benchmark.

연구 동기 및 목표

• 정밀한 모션 예측을 위한 고해상도 지도 토폴로지의 활용을 동기 부여
• LaneGCN이 학습하는 차선 그래프 표현을 제안하여 복잡한 차선 토폴로지를 포착
• 융합 네트워크를 통해 교통 행위자와 차선 그래프 간의 포괄적 상호 작용 모델링
• 래스터 기반 방법 대비 Argoverse에서 엔드-투-엔드 학습 가능성과 우수한 성능 시연

제안 방법

• 래스터화 없이 지도 토폴로지를 보존하기 위해 벡터화된 HD 맵 데이터로 차선 그래프를 구성
• 다중 타입 인접(선행, 후행, 좌, 우)과 확장을 갖춘 LaneConv를 개발하여 긴 범위 차선 의존성 포착
• 행위자와 차선을 노드로 표현하고, 행위자 특징은 1D CNN(ActorNet)으로, 차선 특징은 LaneGCN(MapNet)으로 추출
• 공간 주의 집중과 LaneGCN을 통한 L2L를 활용하여 네 가지 상호 작용 유형(행위자-차선, 차선-차선, 차선-행위자, 행위자-행위자)을 통해 FusionNet으로 행위자 및 차선 특징 융합
• 두 가지 분기 예측 헤더를 통해 다중 모드 미래 궤적 예측(궤적 회귀, 모드 신뢰도 분류)
• modality 순위를 위한 최대 마진 항을 포함한 분류+회귀 손실의 결합으로 엔드-투-엔드 학습

실험 결과

연구 질문

• RQ1 차선 그래프 기반 표현이 래스터 맵보다 모션 예측에서 지도 토폴로지를 더 효과적으로 포착하는가?
• RQ2 LaneConv과 LaneGCN이 차선 토폴로지의 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 A2L, L2L, L2A, A2A 상호 작용이 행위자 전용 또는 맵 전용 기초 모델보다 예측 정확도를 개선하는가?
• RQ4 맵/행위자 융합과 차선 그래프 연산자에 대한 절제( Ablation) 연구가 예측 성능에 미치는 영향은 무엇인가?

주요 결과

모델	minADE (K=1)	minFDE (K=1)	MR (K=1)	minADE (K=6)	minFDE (K=6)	MR (K=6)
Argoverse Baseline	2.96	6.81	0.81	2.34	5.44	0.69
Argoverse Baseline (NN)	3.45	7.88	0.87	1.71	3.29	0.54
Holmes (7th)	2.91	6.54	0.82	1.38	2.66	0.42
cxx (3rd)	1.91	4.31	0.66	0.99	1.71	0.19
uulm-mrm (2nd)	1.90	4.19	0.63	0.94	1.55	0.22
Jean (1st)	1.86	4.18	0.63	0.93	1.49	0.19
Our Model	1.71	3.78	0.59	0.87	1.36	0.16

• Argoverse에서 최소 ADE, 최소 FDE, MR 모든 지표(K=1, K=6)에서 최첨단 성능보다 큰 개선
• 다중 타입 및 확장된 LaneConv를 갖춘 LaneGCN이 일반적인 GCN보다 차선 토폴로지를 더 잘 포착
• A2L, L2L, L2A, A2A 상호 작용의 도입이 성능을 실질적으로 향상시키며, 맵 정보를 통한 흐름이 행위자 간 상호 작용을 강화
• 절제 연구를 통해 각 구성 요소(LaneConv, 잔차 블록, 확장, 융합 블록)이 성능 향상에 기여함이 확인
• 정성적 결과는 기록된 히스토리 누락, 좌우 회전, 급격한 기동과 같은 어려운 케이스 처리의 개선을 보여줌