[논문 리뷰] LaPred: Lane-Aware Prediction of Multi-Modal Future Trajectories of Dynamic Agents

ByeoungDo Kim, Seong Hyeon Park외 6명|arXiv (Cornell University)|2021. 04. 01.

Autonomous Vehicle Technology and Safety참고 문헌 34인용 수 9

한 줄 요약

LaPred는 인스턴스 수준의 차선 특징과 주의 기반 융합을 활용하여 다양한 차선 준수 향후 궤적을 생성함으로써 다중 모달 궤적 예측을 향상시키는 차선 인지 딥러닝 모델이다. 이는 타겟 에이전트와 차선 간의 상호작용을 명시적으로 모델링함으로써 nuScenes 및 Argoverse 벤치마크에서 기존 방법을 능가하며, 자기 지도적 차선 주의 학습을 통해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we address the problem of predicting the future motion of a dynamic agent (called a target agent) given its current and past states as well as the information on its environment. It is paramount to develop a prediction model that can exploit the contextual information in both static and dynamic environments surrounding the target agent and generate diverse trajectory samples that are meaningful in a traffic context. We propose a novel prediction model, referred to as the lane-aware prediction (LaPred) network, which uses the instance-level lane entities extracted from a semantic map to predict the multi-modal future trajectories. For each lane candidate found in the neighborhood of the target agent, LaPred extracts the joint features relating the lane and the trajectories of the neighboring agents. Then, the features for all lane candidates are fused with the attention weights learned through a self-supervised learning task that identifies the lane candidate likely to be followed by the target agent. Using the instance-level lane information, LaPred can produce the trajectories compliant with the surroundings better than 2D raster image-based methods and generate the diverse future trajectories given multiple lane candidates. The experiments conducted on the public nuScenes dataset and Argoverse dataset demonstrate that the proposed LaPred method significantly outperforms the existing prediction models, achieving state-of-the-art performance in the benchmarks.

연구 동기 및 목표

• 복잡한 교통 환경에서 동적 에이전트의 다양하고 맥락적으로 타당한 향후 궤적을 예측하는 데 도전하는 것.
• 세밀한 지도에서의 인스턴스 수준 차선 정보를 명시적으로 통합하여 궤적 예측 정확도를 향상시키는 것.
• 차선 제약 조건과 교통 규칙을 준수하는 다중 모달 궤적 샘플을 생성하는 것.
• 모드 선택을 위해 랜덤 노이즈에 의존하는 것의 비율을 줄이기 위해 해석 가능한 차선 기반 주의 메커니즘을 도입하는 것.
• 자기 지도적 차선 주의 헤드를 통해 모델의 해석 가능성과 성능을 향상시키는 것 — 이는 타겟 에이전트가 따라갈 가능성이 가장 높은 차선을 식별한다.

제안 방법

• LaPred는 타겟 에이전트, 인접한 에이전트 및 특정 차선 인스턴스 간의 공간적·시간적 관계를 인코딩하는 각 차선 별 통합 특징을 구성한다.
• 자기 지도적 학습 작업을 통해 보조 네트워크를 훈련시켜 타겟 에이전트가 따라갈 가능성이 가장 높은 차선을 예측하고, 특징 융합을 위한 주의 가중치를 생성한다.
• 주의 메커니즘이 여러 차선 후보의 특징을 융합하며, 타겟 에이전트의 의도된 경로에 가장 관련성이 높은 특징을 우선순위로 지정한다.
• 모델은 인코더-디코더 아키텍처를 사용하며, 인코더는 과거 궤적과 차선 특징을 처리하고, 디코더는 다중 모달 향후 궤적 가설을 생성한다.
• 2D 래스터라이즈드 지도가 아닌 인스턴스 수준의 차선을 사용함으로써, 회전 및 차선 변경과 같은 차선 제약 행동에 대한 더 나은 일반화가 가능하다.
• 주의 기반 소프트 선택을 통해 다수의 가능성이 있는 경로를 동시에 고려함으로써, 예측의 다양성과 현실성 향상이 가능하다.

실험 결과

연구 질문

• RQ1 인스턴스 수준의 차선 정보는 복잡한 교통 상황에서 다중 모달 궤적 예측의 정확도와 현실성에 크게 기여하는가?
• RQ2 각 차선 특징의 주의 기반 융합 방식이 래스터 기반 또는 글로벌 특징 표현 방식에 비해 에이전트-차선 상호작용을 모델링하는 데 어떻게 비교되는가?
• RQ3 자기 지도적 차선 주의 학습은 예측 성능과 모델의 해석 가능성에 얼마나 기여하는가?
• RQ4 제안된 방법은 명시적인 차선 감독 없이 기존 모델보다 더 다양하고 맥락적으로 타당한 궤적 모드를 생성하는가?
• RQ5 모델은 다양한 도시 주행 시나리오에 일반화되면서도 높은 정확도와 도로 구조 준수를 유지할 수 있는가?

주요 결과

• LaPred는 nuScenes 검증 세트에서 최신 기술 수준의 성능을 달성하여, 다양한 궤적 샘플링 구성에서 ADE 및 FDE를 포함한 대부분의 지표에서 기존 방법을 능가한다.
• Argoverse 데이터셋에서 LaPred는 ADE₅, FDE₅, ADE₆, FDE₆, ADE₁₂에서 뚜렷한 성능 향상을 보이며, 다양한 시나리오에 걸쳐 강력한 일반화 능력을 입증한다.
• K=5 및 K=6 궤적 샘플에서 특히 향상된 성능를 보이며, 다중 모달 분포 모델링에 있어 차선 정보의 최적 활용을 시사한다.
• LaPred는 궤적 예측을 차선 구조에 엄격히 따르며, 기존 모델이 자주 차선 불일치 궤적을 생성하는 것과 대비된다.
• 자기 지도적 차선 주의 헤드 덕분에 모델은 높은 정확도로 가장 가능성 있는 차선을 식별할 수 있었으며, 이는 궤적 품질 향상과 함께 모델의 해석 가능성도 향상시켰다.
• 경우의 수가 제한된 하드 차선 선택을 사용하는 MTPLA에 비해, LaPred의 소프트 주의 메커니즘은 ADE₆ 및 FDE₆에서 더 뛰어난 성능을 보이며, 다수의 차선 후보를 고려하는 것이 유리함을 확인한다.