[논문 리뷰] Exploring Dynamic Context for Multi-path Trajectory Prediction

Hao Cheng, Wentong Liao외 4명|arXiv (Cornell University)|2020. 10. 30.

Autonomous Vehicle Technology and Safety참고 문헌 49인용 수 4

한 줄 요약

이 논문은 다중 경로 예측을 위한 새로운 프레임워크인 DCENet을 제안한다. 이는 이질적인 에이전트 간의 동적 공간 상호작용을 모델링하기 위해 자기주의(self-attention)를 활용하고, 다양한 맥락 인식 향상된 미래 경로를 생성하기 위해 조건부 변동 자동인코더(CVAE)를 사용한다. Trajnet 및 inD 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 복잡한 교통 환경에서 뛰어난 일반화 능력과 정확도를 입증한다.

ABSTRACT

To accurately predict future positions of different agents in traffic scenarios is crucial for safely deploying intelligent autonomous systems in the real-world environment. However, it remains a challenge due to the behavior of a target agent being affected by other agents dynamically and there being more than one socially possible paths the agent could take. In this paper, we propose a novel framework, named Dynamic Context Encoder Network (DCENet). In our framework, first, the spatial context between agents is explored by using self-attention architectures. Then, the two-stream encoders are trained to learn temporal context between steps by taking the respective observed trajectories and the extracted dynamic spatial context as input. The spatial-temporal context is encoded into a latent space using a Conditional Variational Auto-Encoder (CVAE) module. Finally, a set of future trajectories for each agent is predicted conditioned on the learned spatial-temporal context by sampling from the latent space, repeatedly. DCENet is evaluated on one of the most popular challenging benchmarks for trajectory forecasting Trajnet and reports a new state-of-the-art performance. It also demonstrates superior performance evaluated on the benchmark inD for mixed traffic at intersections. A series of ablation studies is conducted to validate the effectiveness of each proposed module. Our code is available at https://github.com/wtliao/DCENet.

연구 동기 및 목표

• 실세계 교통 환경에서 이질적인 에이전트 간의 동적이고 변화하는 상호작용을 모델링하여 다중 경로 예측 성능을 향상시키기 위해.
• 결정론적 예측의 한계를 보완하기 위해 사회적으로 타당한 다양한 미래 경로를 생성하기 위해.
• 이중 스트림 인코더와 CVAE 기반의 잠재 공간 표현을 통해 시공간적 종속성을 향상시키기 위해.
• 혼합 교통 교차로 및 공용 도시 공간을 포함한 다양한 교통 환경에서 프레임워크의 효과성과 일반화 능력을 검증하기 위해.

제안 방법

• 시간에 따라 위치, 방향, 속도 정보를 동적 지ap 맵으로 인코딩하여 자기주의 메커니즘을 활용해 에이전트 간의 동적 공간 상호작용을 실시간으로 캡처한다.
• 관측된 경로와 동적 공간 맥락을 별도로 처리하기 위해 동일한 두 개의 이중 스트림 인코더를 사용하여 시간 단계 간의 시간적 종속성을 학습한다.
• 시간 인코더의 출력에 전역 평균 풀링을 적용하여 시퀀스를 압축된 잠재 표현으로 요약한다.
• 관측된 에이전트 경로에 조건부로 설정된 조건부 변동 자동인코더(CVAE)를 사용해 통합된 시공간 맥락을 잠재 공간에 인코딩한다.
• 학습된 잠재 공간에서 샘플링을 통해 다수의 미래 경로를 생성함으로써 다양한 맥락에 부합하는 예측을 가능하게 한다.
• 재구성 오차 및 KL 발산 손실을 사용해 전체 프레임워크를 엔드 투 엔드로 훈련하여 예측 품질을 최적화한다.

실험 결과

연구 질문

• RQ1 이질적인 에이전트 간의 동적 공간 상호작용을 효과적으로 모델링하여 다중 경로 예측 성능을 향상시킬 수 있는가?
• RQ2 기존의 RNN 또는 LSTM 기반 방법과 비교했을 때, 경로 예측에 자기주의를 통합함으로써 성능 향상 정도는 어느 정도인가?
• RQ3 학습된 시공간 맥락에 조건부로 설정된 CVAE 기반 생성 모듈이 다양한 고품질의 미래 경로 가설을 생성할 수 있는가?
• RQ4 DCENet는 복잡한 교차로 및 공용 도시 공간을 포함한 다양한 실세계 교통 환경에서 어떻게 일반화되는가?
• RQ5 각 구성 요소(자기주의, 이중 스트림 인코더, CVAE)가 전체 예측 성능에 기여하는 정도는 어떠한가?

주요 결과

• DCENet는 Trajnet 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여, 상위 1개 및 상위 10개 경로 예측 모두 ADE 및 FDE 지표에서 이전 방법들을 능가한다.
• inD 벤치마크에서 DCENet는 네 개의 교차로 전반에 걸쳐 상위 10개 예측의 ADE 및 FDE 지표에서 비교 모델들 중 최고 성능을 기록했다.
• 대부분의 평가 환경에서 S-LSTM, S-GAN, AMENet를 능가하며, 특히 교차로에서의 복잡한 상호작용을 예측하는 데 뛰어난 성능을 보였다.
• 절단 실험 결과, 자기주의 모듈과 이중 스트림 인코더 설계가 성능 향상에 크게 기여하며, CVAE 모듈이 다양한 경로의 효과적 생성을 가능하게 함을 확인했다.
• 모델는 혼합 교통 교차로 및 보행자 밀도가 높은 도시 지역과 같은 새로운 시나리오에서도 높은 성능을 유지하며 강력한 일반화 능력을 보였다.
• 정성적 결과는 예측된 경로 집합이 에이전트의 의도와 불확실성을 정확히 반영하며, 원형 교차로 및 보행자 횡단보도와 같은 복잡한 시나리오에서 가장 가능성 높은 경로가 실제 경로와 밀접하게 일치함을 보여주었다.