[논문 리뷰] Stochastic trajectory prediction with social graph network

Lidan Zhang, Qi She외 1명|arXiv (Cornell University)|2019. 07. 24.

Data Management and Algorithms인용 수 36

한 줄 요약

이 논문은 보행자 간 비대칭적 사회 상호작용을 모델링하기 위해 방향성 사회 그래프 네트워크를 도입하고, 계층적 LSTM을 통해 다양한 사회적으로 타당한 미래 궤적을 생성하는 시간적 확률 프레임워크를 제시한다.

ABSTRACT

Pedestrian trajectory prediction is a challenging task because of the complexity of real-world human social behaviors and uncertainty of the future motion. For the first issue, existing methods adopt fully connected topology for modeling the social behaviors, while ignoring non-symmetric pairwise relationships. To effectively capture social behaviors of relevant pedestrians, we utilize a directed social graph which is dynamically constructed on timely location and speed direction. Based on the social graph, we further propose a network to collect social effects and accumulate with individual representation, in order to generate destination-oriented and social-aware representations. For the second issue, instead of modeling the uncertainty of the entire future as a whole, we utilize a temporal stochastic method for sequentially learning a prior model of uncertainty during social interactions. The prediction on the next step is then generated by sampling on the prior model and progressively decoding with a hierarchical LSTMs. Experimental results on two public datasets show the effectiveness of our method, especially when predicting trajectories in very crowded scenes.

연구 동기 및 목표

• 방향성 사회 그래프를 사용하여 보행자 간 비대칭적 사회 상호작용을 포착한다.
• 개별 목적지 목표를 사회적 영향과 통합하여 목적지 지향 예측을 생성한다.
• 단계별 잠재 변수를 사용해 시간적 불확실성을 모델링하여 다양한 미래 궤적을 생성한다.

제안 방법

• 가시 이웃과 운동 방향을 반영하는 시간에 따라 변하는 방향성 사회 그래프를 구성한다.
• 노드와 대 쌍 관계를 신경 블록으로 인코딩하여 사회 인지 임베딩을 얻는다.
• 각 시간 단계에서 학습된 사전 분포로부터 잠재 변수를 샘플링하여 불확실성을 모델링한다.
• 계층적 LSTM 디코더를 사용하여 속도와 위치 예측을 점진적으로 생성한다.
• 재구성 항과 KL 정규화(beta-warmup)를 포함한 변분 하한으로 엔드-투-엔드 학습한다.
• 유도 그래프, 소셜 게이트, 극 좌표, 소셜 블록의 수 등 다양한 구성에 대한 제거실험(Ablations)을 비교한다.

실험 결과

연구 질문

• RQ1 군중 속에서 정확한 궤적 예측을 위해 비대칭적 사회 상호작용을 어떻게 효과적으로 모델링할 수 있는가?
• RQ2 단계적 시간 잠재 변수가 예측 궤적의 다양성과 사회적 타당성을 향상시키는가?
• RQ3 그래프 구성 선택(방향성, 주의 메커니즘, 소셜 게이트, 좌표 표현)이 예측 정확도에 미치는 영향은 무엇인가?
• RQ4 계층적 디코더가 사회 인지 및 목적지 지향 신호를 결합하여 현실적인 미래를 생성할 수 있는가?

주요 결과

• 방향성 사회 그래프가 비방향 그래프보다 오차를 더 감소시키며, 선택적 이웃 주의의 중요성을 시사한다.
• 소셜 게이트(특징 수준 선택)를 도입하면 성능이 더 향상된다.
• 대쌍 관계에 극 좌표를 사용하면 직교 좌표에 비해 작은 이점을 얻는다.
• 소셜 블록의 수(K)를 늘리면 일반적으로 단일 블록보다 성능이 향상된다.
• 제안된 방법은 ETH 및 UCY 데이터셋에서 경쟁력 있는 ADE/FDE를 달성하며, 붐비는 장면에서 유의한 개선이 있다.
• 정성적 결과는 다양하고 사회적으로 준수한 예측 경로와 이웃 보행자에 대한 합리적인 주의 패턴을 보여준다.