[논문 리뷰] Spatial-Temporal Block and LSTM Network for Pedestrian Trajectories Prediction

Dan Xiong|arXiv (Cornell University)|2020. 09. 22.

Autonomous Vehicle Technology and Safety참고 문헌 19인용 수 5

한 줄 요약

이 논문은 붐비고 다이나믹한 환경에서 보행자 궤적 예측을 위해 새로운 공간-시간 블록(ST-Block)과 LSTM 네트워크를 조합한 모델을 제안한다. 보행자를 그래프 노드로 모델링하고, 그래프 컨volution 네트워크(GCN)와 시간 컨볼루션 네트워크(TCN)를 활용하여 공간적 및 시간적 종속성을 포착함으로써 사회적 상호작용과 환경 맥락을 효과적으로 인코딩하며, ETH 및 UCY 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Pedestrian trajectory prediction is a critical to avoid autonomous driving collision. But this prediction is a challenging problem due to social forces and cluttered scenes. Such human-human and human-space interactions lead to many socially plausible trajectories. In this paper, we propose a novel LSTM-based algorithm. We tackle the problem by considering the static scene and pedestrian which combine the Graph Convolutional Networks and Temporal Convolutional Networks to extract features from pedestrians. Each pedestrian in the scene is regarded as a node, and we can obtain the relationship between each node and its neighborhoods by graph embedding. It is LSTM that encode the relationship so that our model predicts nodes trajectories in crowd scenarios simultaneously. To effectively predict multiple possible future trajectories, we further introduce Spatio-Temporal Convolutional Block to make the network flexible. Experimental results on two public datasets, i.e. ETH and UCY, demonstrate the effectiveness of our proposed ST-Block and we achieve state-of-the-art approaches in human trajectory prediction.

연구 동기 및 목표

• 복잡한 인간-인간 및 인간-환경 상호작용을 포함한 혼잡한 환경에서 사회적으로 타당한 보행자 궤적을 예측하는 데 도전하는 것.
• 공간적 환경 구조와 시간적 운동 역학을 함께 모델링하여 궤적 예측 정확도를 향상시키는 것.
• 새로운 공간-시간 블록 설계를 통해 모델의 유연성을 향상시켜 다수의 가능성이 있는 미래 궤적을 예측할 수 있도록 하는 것.
• 보행자 간 관계의 그래프 기반 표현을 순차적 모델링을 통해 LSTM과 통합하여 더 나은 사회적 상호작용 인코딩을 이루는 것.
• 보행자 궤적 예측의 기준 데이터셋인 ETH 및 UCY와 같은 표준 데이터셋에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 모델은 각 보행자를 그래프의 노드로 표현하며, 간선은 공간적 근접성과 사회적 관계를 코딩하여 그래프 기반 특징 학습을 가능하게 한다. 이는 그래프 컨볼루션 네트워크(GCN)를 통해 이루어진다.
• 공간적 특징은 시간 컨볼루션 네트워크(TCN)를 사용하여 시간 단위 간 국소 운동 패턴을 모델링함으로써 추출된다.
• 공간적 상호작용과 시간적 역학을 민첩하고 계층적으로 포괄하는 새로운 공간-시간 컨볼루션 블록(ST-Block)이 도입된다.
• LSTM 네트워크를 활용해 보행자 간 상호작용의 변화를 모델링하고 궤적 시퀀스의 장기 종속성을 포착한다.
• ST-Block은 GCN 및 TCN 구성 요소를 통합하여 공간 맥락과 시간적 운동을 함께 학습함으로써 궤적 예측을 위한 표현 학습을 향상시킨다.
• 모델은 엔드 투 엔드로 훈련되어 다수의 가능성이 있는 미래 궤적을 예측하며, 다중 모odal 출력 헤드를 통해 불확실성을 모델링한다.

실험 결과

연구 질문

• RQ1 어떻게 복잡한 보행자 상호작용을 모델링하기 위해 공간적 및 시간적 특징을 효과적으로 통합할 수 있는가?
• RQ2 GCN와 TCN를 활용한 그래프 기반 표현이 기존의 RNN 또는 CNN 기반 베이스라인 대비 궤적 예측 정확도를 향상시킬 수 있는가?
• RQ3 제안된 ST-Block이 다수의 가능성이 있는 미래 궤적을 예측하는 데 있어 모델의 유연성과 성능을 어느 정도 향상시키는가?
• RQ4 환경 맥락과 사회적 상호작용 모델링의 통합이 공개 기준 데이터셋에서 더 나은 일반화 성능을 이끌어낼 수 있는가?
• RQ5 제안된 모델이 ETH 및 UCY와 같은 표준 보행자 궤적 예측 기준 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 ST-Block과 LSTM 기반 모델은 보행자 궤적 예측에서 ETH 및 UCY 기준 데이터셋 모두에서 최신 기술 수준의 성능을 달성한다.
• 모델은 복잡한 사회적 상호작용과 환경 제약 조건을 효과적으로 포착하여 다수의 가능성이 있는 미래 궤적을 예측하는 데 뛰어난 성능을 보인다.
• GCN를 통한 공간 모델링과 TCN를 통한 시간적 특징 추출의 통합은 기존 베이스라인 모델 대비 예측 정확도를 크게 향상시킨다.
• 보행자 관계를 표현하기 위해 그래프 임베딩을 사용함으로써 혼잡한 환경에서 사회적 힘과 근접성 영향을 효과적으로 모델링할 수 있었다.
• 제거 실험(ablation study) 결과, ST-Block과 LSTM 구성 요소 모두가 모델의 예측 성능에 기여하고 있음을 확인하였다.
• 특히 높은 보행자 밀도와 복잡한 운동 패턴을 포함한 시나리오에서 기존 방법 대비 예측 정확도에서 뛰어난 성능을 보였다.