[논문 리뷰] Conditional Generative Neural System for Probabilistic Trajectory Prediction

Jiachen Li, Hengbo Ma외 1명|arXiv (Cornell University)|2019. 05. 05.

Autonomous Vehicle Technology and Safety참고 문헌 40인용 수 18

한 줄 요약

이 논문은 조건부 잠재 공간 학습과 변분 발산 최소화를 사용하여 정적 맥락, 동적 상호작용, 운동학적 타당성을 종합적으로 모델링하는 조건부 생성 신경망 시스템(CGNS)을 제안한다. 소프트 어텐션 기반 기반과 미분 가능한 장벽 함수를 통합함으로써 CGNS는 다양하고 현실적이며 타당한 궤도 가설을 생성하며, 보행자 및 원형 교차로 주행 데이터셋에서 기존 모델들을 능가한다. 특히 장기 예측에서 뛰어난 성능을 보인다.

ABSTRACT

Effective understanding of the environment and accurate trajectory prediction of surrounding dynamic obstacles are critical for intelligent systems such as autonomous vehicles and wheeled mobile robotics navigating in complex scenarios to achieve safe and high-quality decision making, motion planning and control. Due to the uncertain nature of the future, it is desired to make inference from a probability perspective instead of deterministic prediction. In this paper, we propose a conditional generative neural system (CGNS) for probabilistic trajectory prediction to approximate the data distribution, with which realistic, feasible and diverse future trajectory hypotheses can be sampled. The system combines the strengths of conditional latent space learning and variational divergence minimization, and leverages both static context and interaction information with soft attention mechanisms. We also propose a regularization method for incorporating soft constraints into deep neural networks with differentiable barrier functions, which can regulate and push the generated samples into the feasible regions. The proposed system is evaluated on several public benchmark datasets for pedestrian trajectory prediction and a roundabout naturalistic driving dataset collected by ourselves. The experimental results demonstrate that our model achieves better performance than various baseline approaches in terms of prediction accuracy.

연구 동기 및 목표

• 다중 에이전트 궤도 예측에서 복잡한 상호작용과 환경 맥락을 통합적으로 포괄하는 통합 생성 모델을 개발하기 위해.
• 정적 환경 맥락과 동적 에이전트 상호작용을 모델링하여 장기 예측 정확도를 향상시키기 위해.
• 미분 가능한 정규화를 통해 생성된 궤도가 물리적으로 타당하고 운동학적 제약을 준수하도록 보장하기 위해.
• 잠재 공간과 변분 추론를 활용하여 진정한 데이터 분포를 근사함으로써 다양하고 현실적인 궤도 샘플링을 가능하게 하기 위해.
• 실제 환경에서의 강건성을 검증하기 위해 벤치마크 보행자 데이터셋과 자체 제작한 원형 교차로 주행 데이터셋 모두에서 모델을 검증하기 위해.

제안 방법

• CGNS 프레임워크는 소프트 어텐션을 활용해 영상 및 이력 궤도를 다중 수준 표현으로 인코딩하는 딥 특징 추출기를 사용한다.
• 에ncoder를 통해 에이전트 간의 의존성과 환경 맥락 간의 관계를 모델링함으로써 조건부 잠재 공간을 학습한다.
• 생성망 네트워크는 학습된 잠재 분포에서 미래 궤도를 샘플링하여 다양한 가설 생성을 가능하게 한다.
• 시스템은 명시적 및 암묵적 밀도 학습을 모두 활용하여 진정한 궤도 분포를 근사하기 위해 변분 발산 최소화를 통합한다.
• 미분 가능한 장벽 함수를 도입하여 손실 함수에 부드러운 운동학적 제약 조건을 통합함으로써 생성된 궤도의 타당성을 보장한다.
• 블록 어텐션 메커니즘은 이력 궤도를 처리하고, 가우시안 혼합 어텐션 마스크는 영상의 주요 영역에 집중한다.

실험 결과

연구 질문

• RQ1 통합 생성 모델이 다중 에이전트 궤도 예측에서 정적 맥락, 동적 상호작용, 운동학적 제약 조건을 효과적으로 통합할 수 있는가?
• RQ2 어떤 방식으로 주의 기반 특징 선택이 복잡하고 상호작용이 많은 환경에서 예측 정확도를 향상시키는가?
• RQ3 미분 가능한 타당성 제약 조건을 통합할 경우 생성된 궤도의 현실성과 물리적 타당성이 어느 정도 향상되는가?
• RQ4 선형 및 순환 기반 모델 대비 예측 수평선에 따라 모델 성능이 어떻게 변화하는가?
• RQ5 잠재 공간 학습과 변분 발산 최소화의 통합이 단독으로 사용되는 방법보다 더 나은 분포 근사 성능을 제공하는가?

주요 결과

• CGNS는 다양한 벤치마크에서 평균 이동 오차(ADE)와 최종 이동 오차(FDE)가 가장 낮으며, 특히 장기 예측에서 기존 모델들을 압도한다.
• 예측 수평선이 길어질수록 맥락 영상 어텐션과 궤도 블록 어텐션을 모두 포함한 모델(T + I + CLSL + VDM)이 부분적 구성 대비 뚜렷한 성능 향상을 보였다.
• 제거 실험 결과, 장기 예측에서 맥락 정보의 가치가 점점 증가함을 확인하였으며, 도로 곡률이 차량 운동을 크게 제약한다는 점이 확인되었다.
• 정성적 결과에서는 생성된 궤도가 매끄럽고 현실적이며 도로 곡선을 따르며, 진짜 궤도가 예측 분포의 가장 높은 밀도 영역 내에 위치함을 확인하였다.
• 어텐션 메커니즘이 관련 에이전트와 영역을 성공적으로 식별하였으며, 특히 고상호작용 환경에서 예측 차량과 그 이동 방향에 대해 더 높은 어텐션 가중치를 부여하였다.
• 미분 가능한 장벽 함수의 사용은 운동학적 타당성을 효과적으로 강제하였으며, 다양성을 훼손하지 않은 채 생성 궤도의 현실성을 향상시켰다.