[논문 리뷰] Social-VRNN: One-Shot Multi-modal Trajectory Prediction for Interacting Pedestrians

Bruno Brito, Hai Zhu외 2명|arXiv (Cornell University)|2020. 10. 18.

Autonomous Vehicle Technology and Safety참고 문헌 38인용 수 12

한 줄 요약

이 논문은 붐비는 환경에서 상호작용하는 보행자들의 일회성, 다모드 경로 예측을 위한 변분 순환 신경망인 Social-VRNN을 제안한다. 변분 추론 프레임워크 내에서 시간에 따라 변화하는 사전 분포를 통해 시간적 의존성을 모델링함으로써, 단일 전방 계산을 통해 다양한 사회적으로 타당한 경로를 생성하며, GAN 기반 방법보다 훨씬 적은 샘플 수로 실제 및 시뮬레이션 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

Prediction of human motions is key for safe navigation of autonomous robots among humans. In cluttered environments, several motion hypotheses may exist for a pedestrian, due to its interactions with the environment and other pedestrians. Previous works for estimating multiple motion hypotheses require a large number of samples which limits their applicability in real-time motion planning. In this paper, we present a variational learning approach for interaction-aware and multi-modal trajectory prediction based on deep generative neural networks. Our approach can achieve faster convergence and requires significantly fewer samples comparing to state-of-the-art methods. Experimental results on real and simulation data show that our model can effectively learn to infer different trajectories. We compare our method with three baseline approaches and present performance results demonstrating that our generative model can achieve higher accuracy for trajectory prediction by producing diverse trajectories.

연구 동기 및 목표

• 붐비는 환경에서 보행자가 불확실하고 사회적으로 타당한 행동을 보일 때 다모드, 상호작용 인식 경로 예측의 과제를 해결하기 위해.
• 다양한 운동 가설을 생성하기 위해 필요한 샘플 수를 줄여 자율 로봇 주행의 실시간 적용 가능성을 높이기 위해.
• 시간에 따라 변화하는 사전 분포를 통해 잠재 공간 내 시간적 의존성을 모델링하여 예측 정확도와 다양성을 향상시키기 위해.
• 학습 안정성과 샘플 효율성에서 GAN 기반 접근 방식의 한계를 극복하기 위해 단일 네트워크 추론으로부터 다수의 타당한 경로를 생성하는 생성 모델을 개발하기 위해.
• 최소한의 계산 오버헤드로 정확하고 다양한 사회적으로 타당한 경로 예측을 제공하여 실시간 운동 계획을 가능하게 하기 위해.

제안 방법

• 모델은 잠재 변수를 사용하여 보행자 경로의 공동 확률 분포를 모델링하기 위해 변분 순환 신경망(VRNN) 아키텍처를 사용한다.
• 시간에 따라 변화하는 사전 분포를 잠재 공간에 도입하여 시간적 의존성을 인코딩함으로써 시퀀스 모델링과 경로 다양성을 향상시킨다.
• 잠재 공간에서 혼합 정규분포를 학습하여 다모드 운동 가설을 포착함으로써, 단일 전방 계산을 통해 다양한 경로를 생성할 수 있도록 한다.
• 변분 추론 프레임워크를 사용하여 모델을 최적화함으로써 GAN 기반 접근 방식보다 더 빠른 수렴을 가능하게 한다.
• Social-VRNN은 Social-LSTM과 유사한 사회적 풀링 메커니즘을 통해 보행자와 장애물 간의 관계를 인코딩함으로써 상호작용 모델링을 통합한다.
• 학습 전략은 해석 가능한 잠재 공간 모델링을 통해 예측 경로의 다양성을 장려하면서도 높은 정확도를 유지하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 변분 RNN 기반 모델은 단일 네트워크 추론을 통해 상호작용하는 보행자에 대해 다양한 다모드 경로를 생성할 수 있는가?
• RQ2 잠재 공간에 시간에 따라 변화하는 사전 분포를 도입할 경우, 독립적인 사전 분포와 비교해 경로 예측 성능에 어떤 영향을 미치는가?
• RQ3 제안된 모델은 GAN 기반 기준 대비 고품질의 다모드 예측을 위해 필요한 샘플 수를 어느 정도 줄일 수 있는가?
• RQ4 정적 장애물과 다수의 보행자가 포함된 복잡한 실제 세계 시나리오로 일반화되는가?
• RQ5 일회성 예측을 통해 시뮬레이션 및 실제 세계 데이터셋에서 최고 성능을 달성할 수 있는가?

주요 결과

• Social-VRNN은 GAN 기반 기준보다 훨씬 적은 샘플 수로 시뮬레이션 및 실제 세계 데이터셋(University 및 Hotel 데이터셋 포함)에서 최고 성능을 달성한다.
• 모델은 단일 전방 계산을 통해 다양한 사회적으로 타당한 경로를 생성하며, 단 하나의 모드만 포착하기 위해 30개의 샘플이 필요한 Social-Ways GAN 기반 모델을 능가한다.
• 정성적 결과에서는 Social-VRNN이 환경적 및 사회적 제약 조건에 기반해 장애물이나 다른 보행자 주변을 왼쪽 또는 오른쪽으로 방향을 바꿔 피하는 등의 다양한 회피 전략을 성공적으로 예측함을 보여준다.
• 다수의 에이전트와 정적 장애물이 존재하는 복잡한 시나리오에서도 모델은 모든 테스트 케이스에서 정확하고 다양한 예측을 유지하며 뛰어난 강건성을 보인다.
• 잠재 공간에 시간에 따라 변화하는 사전 분포를 도입함으로써 예측 성능이 크게 향상되었으며, 시간 동적 특성과 경로 다양성의 더 나은 모델링이 가능해졌다.
• 고품질의 다모드 예측을 위해 필요한 샘플 복잡도를 줄여 자율 주행 시스템의 실시간 운동 계획에 적합한 모델이 되었다.