[논문 리뷰] Sliding Sequential CVAE with Time Variant Socially-aware Rethinking for Trajectory Prediction

Hao Zhou, Dongchun Ren외 3명|arXiv (Cornell University)|2021. 10. 28.

Autonomous Vehicle Technology and Safety참고 문헌 33인용 수 4

한 줄 요약

이 논문은 사회적 상호작용을 고려한 재고찰 기능을 갖춘 계단식 조건부 변동 자동에코더(CSR)를 제안한다. 이는 과거 궤적을 업데이트한 상태에서 예측된 점들을 순차적으로 사용하여 미래 점들을 예측하고, 사회적 상호작용 모델링을 통해 이를 보정한다. 이 방법은 SDD에서 ADE를 38.0% 감소시키고 ETH/UCY에서 22.2% 감소시켜 최신 기술 수준(SOTA)을 초월한다. 또한 더 효율적인 슬라이드 CVAE 변종은 모델 파라미터를 85.9% 감소시키고 추론 속도를 6.3배 향상시킨다.

ABSTRACT

Pedestrian trajectory prediction is a key technology in many applications such as video surveillance, social robot navigation, and autonomous driving, and significant progress has been made in this research topic. However, there remain two limitations of previous studies. First, with the continuation of time, the prediction error at each time step increases significantly, causing the final displacement error to be impossible to ignore. Second, the prediction results of multiple pedestrians might be impractical in the prediction horizon, i.e., the predicted trajectories might collide with each other. To overcome these limitations, this work proposes a novel trajectory prediction method called CSR, which consists of a cascaded conditional variational autoencoder (CVAE) module and a socially-aware regression module. The cascaded CVAE module first estimates the future trajectories in a sequential pattern. Specifically, each CVAE concatenates the past trajectories and the predicted points so far as the input and predicts the location at the following time step. Then, the socially-aware regression module generates offsets from the estimated future trajectories to produce the socially compliant final predictions, which are more reasonable and accurate results than the estimated trajectories. Moreover, considering the large model parameters of the cascaded CVAE module, a slide CVAE module is further exploited to improve the model efficiency using one shared CVAE, in a slidable manner. Experiments results demonstrate that the proposed method exhibits improvements over state-of-the-art method on the Stanford Drone Dataset (SDD) and ETH/UCY of approximately 38.0% and 22.2%, respectively.

연구 동기 및 목표

• 장기 예측에서 시간이 지남에 따라 증가하는 예측 오차를 해결하기 위해.
• 보행자가 충돌하거나 상호작용 규범을 위반하는 사회적으로 비합리적인 궤적 예측을 해결하기 위해.
• 성능을 희생시키지 않은 채 순차적 궤적 예측의 모델 효율성을 향상시키기 위해.
• 예측된 점들을 의사 레이블로 활용하여 이후 예측의 불확실성을 줄이는 방법을 개발하기 위해.
• 사회적 상호작용 모델링을 예측 보정 과정에 통합하여 더 현실적이고 규범 준수하는 궤적을 생성하기 위해.

제안 방법

• 계단식 CVAE 모듈은 과거 궤적과 이전에 예측된 모든 점들을 조건으로 하여 미래 궤적 점들을 순차적으로 예측하며, 이를 통해 불확실성을 감소시킨다.
• 계단 구조의 각 CVAE는 공유된 잠재 공간을 사용하지만 상호 독립적으로 작동하며, 입력은 과거 궤적과 누적된 예측 점들로 구성된다.
• 사회적 인지 회귀 모듈은 과거 궤적과 예측 궤적에서 상호작용 특징을 추출하여 예측 궤적을 보정함으로써 사회적 규범 준수를 강제한다.
• 비공유 CVAE를 대체하기 위해 슬라이드 CVAE 모듈을 도입하여, 슬라이딩 윈도우 방식으로 단일 공유 CVAE를 사용함으로써 모델 파라미터를 극적으로 감소시키고 추론 속도를 향상시킨다.
• 모델은 CVAE의 재구성 손실과 사회적 인지 보정 모듈의 회귀 손실을 사용하여 엔드 투 엔드로 훈련된다.
• 예측된 위치의 변화에 따라 동적으로 상호작용을 모델링하는 시간에 따라 변하는 사회적 재고찰 기능을 도입하여, 복잡한 상황에서도 현실성을 향상시킨다.

실험 결과

연구 질문

• RQ1 업데이트된 과거 궤적과 예측된 점들을 사용한 순차적 예측이 장기 예측 오차를 줄일 수 있는가?
• RQ2 보행자 간의 사회적 상호작용을 효과적으로 모델링하여 충돌 없고 현실적인 궤적 예측을 생성할 수 있는가?
• RQ3 슬라이딩 윈도우 방식의 공유 CVAE 아키텍처가 성능을 유지하면서도 모델 파라미터를 크게 줄이고 추론 속도를 향상시킬 수 있는가?
• RQ4 사회적 상호작용 특징을 사용해 예측 궤적을 보정함으로써 예측 정확도와 현실성이 얼마나 향상되는가?
• RQ5 다양한 보행자 상호작용 시나리오에서 제안된 방법이 ADE 및 FDE 측면에서 최신 기술 수준(SOTA) 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 CSR 방법은 스탠포드 드론 데이터셋(SDD)에서 최신 기술 수준(SOTA) 대비 ADE에서 38.0%의 상대적 향상을 달성한다.
• ETH/UCY 벤치마크에서 CSR은 기존 최고 성능 방법 대비 ADE를 22.2% 감소시킨다.
• 사회적 인지 회귀 모듈은 ETH/UCY에서 ADE 기준 17.6% 향상되고 SDD에서는 20.4% 향상되어 사회적 규범 준수 궤적 보정의 효과를 입증한다.
• 슬라이드 CVAE 변종은 계단식 CVAE 대비 모델 파라미터를 85.9% 감소시키고 추론 속도를 6.3배 향상시키며, SDD에서 ADE를 43.1% 향상시킨다.
• 정성적 결과는 CSR이 특히 교차 및 충돌 회피와 같은 복잡한 상호작용 시나리오에서 PECNet보다 더 현실적이고 충돌 없는 궤적을 생성함을 보여준다.
• 모든 평가 지표에서 기존 SOTA 모델을 능가하며, 보행자 궤적 예측 분야에서 새로운 최신 기술 수준(SOTA) 성능을 확립한다.