[논문 리뷰] Trajectory Prediction with Latent Belief Energy-Based Model

Bo Pang, Tianyang Zhao외 2명|arXiv (Cornell University)|2021. 04. 07.

Autonomous Vehicle Technology and Safety참고 문헌 61인용 수 5

한 줄 요약

이 논문은 전문가 시연 데이터로부터 저차원 잠재 공간에서 확률적 비용 함수를 학습함으로써 다중모달성, 사회적 규범 준수를 고려한 인간 궤적 예측을 위한 잠재 신념 에너지 기반 모델(LB-EBM)을 제안한다. 이 모델은 두 단계의 접근 방식을 사용한다: 먼저 EBM 최적화를 통해 사회적 인지를 반영한 신념 벡터를 추론하고, 그 다음 이 신념 조건 하에 다양한 장거리 궤적을 생성한다. 이로써 SDD 및 ETH-UCY 벤치마크에서 각각 10.9%와 27.6% 향상된 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Human trajectory prediction is critical for autonomous platforms like self-driving cars or social robots. We present a latent belief energy-based model (LB-EBM) for diverse human trajectory forecast. LB-EBM is a probabilistic model with cost function defined in the latent space to account for the movement history and social context. The low-dimensionality of the latent space and the high expressivity of the EBM make it easy for the model to capture the multimodality of pedestrian trajectory distributions. LB-EBM is learned from expert demonstrations (i.e., human trajectories) projected into the latent space. Sampling from or optimizing the learned LB-EBM yields a belief vector which is used to make a path plan, which then in turn helps to predict a long-range trajectory. The effectiveness of LB-EBM and the two-step approach are supported by strong empirical results. Our model is able to make accurate, multi-modal, and social compliant trajectory predictions and improves over prior state-of-the-arts performance on the Stanford Drone trajectory prediction benchmark by 10.9% and on the ETH-UCY benchmark by 27.6%.

연구 동기 및 목표

• 자율 시스템에서 다중모달성, 사회적 인지를 고려한 인간 궤적 예측 문제를 해결하기 위해.
• 저차원 잠재 공간에서 확률적 에너지 기반 프레임워크를 사용하여 복잡한 보행자 행동과 사회적 상호작용을 모델링하기 위해.
• 역강화학습과 엔드 투 엔드 딥 러닝을 결합하여 궤적 예측 정확도와 다양성을 향상시키기 위해.
• 먼저 잠재적 신념을 기반으로 거친 경로를 계획하고, 그 다음 운동 이력과 사회적 신호를 통해 이를 정밀화하는 두 단계 예측 파이프라인을 개발하기 위해.
• Stanford Drone 및 ETH-UCY와 같은 표준 벤치마크에서 기존 최신 기술 수준 방법들을 능가하기 위해.

제안 방법

• 모델은 신경망으로 파arameter화된 저차원 잠재 공간에서 잠재 신념 에너지 기반 모델(LB-EBM)을 비용 함수로 학습하며, 이는 역강화학습 원리에 따라 수행된다.
• 관측된 궤적을 잠재 공간으로 매핑하기 위해 인코더 네트워크를 함께 학습시키며, 이로써 EBM이 이동 이력과 주변 보행자 동역학을 고려할 수 있다.
• EBM는 볼츠만/지브스 분포를 통해 정의되며, 제약이 있는 파rametric 가정 없이도 높은 표현력과 다중모달 분포 모델링이 가능하다.
• 두 단계 궤적 예측 파이프라인을 사용한다: 첫째, EBM 최적화를 통해 실현 가능한 미래 경로를 나타내는 신념 벡터를 생성한다; 둘째, 정책 생성기가 이 신념을 전체 궤적으로 매핑한다.
• 재구성, 변분 후보 및 EBM 후보 간의 KL 발산, 그리고 이웃 에이전트에 대한 풀링을 통한 사회적 상호작용 모델링을 포함하는 복합 손실을 사용하여 엔드 투 엔드로 모델을 학습한다.
• 사회적 맥락은 주변 보행자로부터의 특징을 집계하여 잠재 신념을 정보화하는 사회적 풀링 메커니즘을 통해 통합된다.

실험 결과

연구 질문

• RQ1 잠재 신념 에너지 기반 모델은 인간 궤적 분포의 다중모달성을 효과적으로 포착할 수 있는가?
• RQ2 저차원 잠재 공간에서 비용 함수를 모델링하는 것이 직접 정책 학습에 비해 궤적 예측 성능을 어떻게 향상시키는가?
• RQ3 두 단계의 계획-생성 접근 방식은 예측 정확도와 다양성 향상에 어느 정도 기여하는가?
• RQ4 모델은 양보, 함께 걷기, 충돌 회피와 같은 사회적 상호작용 패턴을 얼마나 효과적으로 포착하는가?
• RQ5 에이전트의 이력 모델링에 비해 사회적 맥락 통합이 예측 성능 향상에 얼마나 기여하는가?

주요 결과

• SDD 벤치마크에서 LB-EBM 모델은 평균 이동 오차(ADE)에서 10.9% 향상되고, 최종 이동 오차(FDE)에서 27.6% 향상되어 이전 최신 기술 수준 방법보다 우수한 성능을 달성한다.
• ETH-UCY 벤치마크에서 모델은 ADE에서 27.6% 향상되었으며, ETH 데이터셋에서 가장 큰 개선(44.4%)을 보였고, ZARA1에서는 가장 작은 개선(9.1%)을 보였다.
• 제거 실험 결과, EBM나 두 단계 계획 기반 메커니즘을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 이들이 다중모달성 및 장거리 계획 모델링에 핵심적인 역할을 한다는 것을 입증한다.
• 사회적 풀링 기반 모델은 이를 제거한 버전보다 성능이 뛰어나며, 사회적 신호가 복잡한 상호작용 상황에서 특히 정확도 향상에 기여한다는 것을 입증한다.
• 정성적 결과에서는 모델이 상호작용 패턴(서로 양보, 동조하는 회전, 그룹 이동 등)을 정확히 포착한 다양한 다중모달 예측을 생성하는 것으로 나타났다.
• 모델의 신념 벡터는 개인의 행동 패턴과 사회적 맥락을 효과적으로 코딩하여 정확하고 사회적으로 규범을 준수하는 장거리 궤적 예측을 가능하게 한다.