[논문 리뷰] SGCN:Sparse Graph Convolution Network for Pedestrian Trajectory Prediction

Liushuai Shi, Le Wang외 5명|arXiv (Cornell University)|2021. 04. 04.

Autonomous Vehicle Technology and SafetyEngineering참고 문헌 48인용 수 17

한 줄 요약

이 논문은 보행자 궤적 예측을 위해 두 개의 별도된 희소 방향 그래프—공간적 및 시간적 그래프—를 사용하여 희소 방향 상호작용과 운동 경향성을 모델링하는 SGCN(Sparse Graph Convolution Network)을 제안한다. 이 그래프들을 융합하여 이중 정규분포를 추정함으로써, ETH 및 UCY 데이터셋에서 최신 기술 대비 평균 이격 오차(ADE)가 9% 감소하고 최종 이격 오차(FDE)가 13% 감소하였으며, 복잡한 상호작용 시나리오에서 일반화 능력이 향상되었다.

ABSTRACT

Pedestrian trajectory prediction is a key technology in autopilot, which remains to be very challenging due to complex interactions between pedestrians. However, previous works based on dense undirected interaction suffer from modeling superfluous interactions and neglect of trajectory motion tendency, and thus inevitably result in a considerable deviance from the reality. To cope with these issues, we present a Sparse Graph Convolution Network~(SGCN) for pedestrian trajectory prediction. Specifically, the SGCN explicitly models the sparse directed interaction with a sparse directed spatial graph to capture adaptive interaction pedestrians. Meanwhile, we use a sparse directed temporal graph to model the motion tendency, thus to facilitate the prediction based on the observed direction. Finally, parameters of a bi-Gaussian distribution for trajectory prediction are estimated by fusing the above two sparse graphs. We evaluate our proposed method on the ETH and UCY datasets, and the experimental results show our method outperforms comparative state-of-the-art methods by 9% in Average Displacement Error(ADE) and 13% in Final Displacement Error(FDE). Notably, visualizations indicate that our method can capture adaptive interactions between pedestrians and their effective motion tendencies.

연구 동기 및 목표

• 보행자 궤적 예측에서 밀도 높고 무방향의 상호작용 모델링의 한계를 해결하기 위해, 불필요한 상호작용을 유발하고 현실적인 운동 경향성을 포착하지 못하는 문제를 해결한다.
• 대칭적이거나 일반적인 상호작용을 가정하는 대신, 실제 세계의 영향력 다이내믹스를 반영하는 적응형 방향 상호작용을 모델링한다.
• 단기 궤적 방향인 운동 경향성을 예측에 통합하여 정확도를 향상시키며, 특히 충돌이 없는 경우나 그룹으로 걷는 경우에 유의미한 개선을 이룬다.
• 희소 방향 그래프를 사용하여 공간적 상호작용과 시간적 운동 패턴을 동시에 학습하는 그래프 기반 딥러닝 프레임워크를 개발한다.
• ETH 및 UCY와 같은 벤치마크 데이터셋에서 기존 최신 기술 대비 궤적 예측 정확도를 뛰어넘는다.

제안 방법

• 모델은 보행자 간 비대칭적이고 적응형 상호작용을 모델링하기 위해 희소 방향 공간 그래프를 구성하며, 이는 오직 관련된 에이전트만 타겟 보행자의 궤적에 영향을 미친다.
• 단기 궤적 세그먼트에서 운동 경향성을 캡처하기 위해 희소 방향 시간 그래프를 학습하며, 이는 이동의 방향성과 안정성을 모델링한다.
• 희소 그래프 학습 모듈에서 자기주의(self-attention) 메커니즘을 사용하여 잠재적 상호작용 파트너에게 동적으로 주의 가중치를 할당함으로써 적응형 그래프 구축을 가능하게 한다.
• 공간 그래프와 시간 그래프의 출력을 융합하여 향후 궤적에 대한 이중 정규분포를 예측함으로써 평균과 불확실성을 모두 포착한다.
• 관측된 궤적 시퀀스에서 ADE와 FDE를 최소화하는 미분 가능한 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 프레임워크는 ETH 및 UCY 데이터셋에서 평가되었으며, 아블레이션 스터디를 통해 각 구성 요소의 기여도를 확인했다.

실험 결과

연구 질문

• RQ1 보행자 궤적 예측에서 희소 방향 상호작용 모델링은 밀도 높고 무방향 모델 대비 불필요한 상호작용의 영향을 줄일 수 있는가?
• RQ2 운동 경향성을 통합하면 충돌이 최소이거나 전혀 없는 상황에서 예측 정확도가 향상되는가?
• RQ3 공간적 상호작용과 시간적 운동 경향성을 동시에 모델링하는 그래프 기반 접근법이 기존 최신 기술을 능가할 수 있는가?
• RQ4 병행 보행, 그룹 이동 또는 길에서 만날 때와 같은 복잡한 시나리오에서 모델의 성능은 어떠한가?
• RQ5 학습된 희소 방향 상호작용이 실제 보행자 다이내믹스의 진정한 상호작용 패턴과 얼마나 일치하는가?

주요 결과

• SGCN는 ETH 및 UCY 데이터셋에서 최신 기술 대비 평균 이격 오차(ADE)가 9% 향상되고 최종 이격 오차(FDE)가 13% 향상되었다.
• 시각화 결과 SGCN는 Social-STGCNN 및 SGAN보다 예측 궤적 분포의 겹침이 적어, 잘못된 충돌 예측가 줄어들었다.
• 정지한 보행자를 정확히 포착하여 예측의 분산이 낮아졌으며, 이는 다른 보행자에게 영향을 받지 않는다는 것을 반영한다. 예를 들어 한 보행자가 멈춰 있을 때의 시나리오에서 이를 잘 반영한다.
• 희소 방향 상호작용 시각화 결과 SGCN가 동적으로 관련된 상호작용 파트너를 식별함을 확인할 수 있었으며, 예를 들어 회피 경로 상황에서 빨간 보행자만 파란 보행자에 영향을 미치는 것으로 나타났다.
• 아블레이션 스터디 결과, 희소 상호작용을 사용하는 SGCN-V2 및 SGCN-V3는 밀도 높은 상호작용을 사용하는 SGCN-V4보다 성능이 뛰어나, 희소성의 이점이 입증되었다.
• 병행 보행이나 다수의 보행자 간 만남과 같은 복잡한 시나리오에서도 모델이 잘 일반화되어 예측이 실제 궤적과 밀도 있게 따라간다.