[논문 리뷰] Scene Gated Social Graph: Pedestrian Trajectory Prediction Based on Dynamic Social Graphs and Scene Constraints

Hao Xue, Du Q. Huynh외 1명|arXiv (Cornell University)|2020. 10. 12.

Autonomous Vehicle Technology and Safety참고 문헌 40인용 수 8

한 줄 요약

이 논문은 동적 스타 그래프와 장면 인지 변동형 자동인코더(변동형 자동인코더, VAE)를 사용하여 사회적 상호작용, 장면 제약 조건, 다중모드 궤적 생성을 종합적으로 모델링하는 새로운 보행자 궤적 예측 모델인 Scene Gated Social Graph(SGSG)을 제안한다. 인코딩된 사회적 그래프 특징과 의미적 장면 특징을 '장면 게이팅'된 표현으로 융합함으로써, SGSG는 다양한 사회적이고 환경적으로 타당한 궤적 예측을 위한 분리된 잠재 변수를 학습한다. 이는 두 개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 계산 효율성과 메모리 사용량이 향상되었다.

ABSTRACT

Pedestrian trajectory prediction is valuable for understanding human motion behaviors and it is challenging because of the social influence from other pedestrians, the scene constraints and the multimodal possibilities of predicted trajectories. Most existing methods only focus on two of the above three key elements. In order to jointly consider all these elements, we propose a novel trajectory prediction method named Scene Gated Social Graph (SGSG). In the proposed SGSG, dynamic graphs are used to describe the social relationship among pedestrians. The social and scene influences are taken into account through the scene gated social graph features which combine the encoded social graph features and semantic scene features. In addition, a VAE module is incorporated to learn the scene gated social feature and sample latent variables for generating multiple trajectories that are socially and environmentally acceptable. We compare our SGSG against twenty state-of-the-art pedestrian trajectory prediction methods and the results show that the proposed method achieves superior performance on two widely used trajectory prediction benchmarks.

연구 동기 및 목표

• 사회적 영향력, 장면 제약 조건, 다중모드 궤적 결과라는 세 가지 핵심 요소를 동시에 고려하지만 일반적으로 별개로 다루어지는 보행자 궤적 예측의 과제를 해결하기 위해.
• 통합된 표현에서 장면 인지 특징과 동적 사회적 관계를 융합함으로써 예측 정확도와 현실성 향상을 도모하기 위해.
• 장면 게이팅된 사회적 특징에서 학습된 분리된 잠재 공간을 통해 다양하고 사회적으로 타당하며 환경적으로 타당한 궤적 예측을 가능하게 하기 위해.
• 완전한 그래프를 사용하는 기존 방법에 비해 계산 오버헤드를 줄이기 위해 스타 그래프 구조를 도입함으로써.

제안 방법

• 관심 대상인 보행자와 장면 내 모든 다른 보행자 간의 사회적 관계를 효율적으로 포착하기 위해 동적 스타 그래프를 구성한다.
• 의미적 세그멘테이션 기반 장면 인코더가 보행 가능한 영역과 장애물과 같은 고수준의 장면 특징을 추출하여 공간 제약 조건을 제공한다.
• 인코딩된 사회적 그래프 특징과 의미적 장면 특징을 연결하거나 게이팅하여 '장면 게이팅된' 사회적 그래프 특징을 형성함으로써 사회적 영향력과 환경적 영향력을 통합된 표현으로 표현한다.
• 변동형 자동인코더(VAE)를 장면 게이팅된 특징에 대해 학습하여 잠재 변수의 평균과 분산을 학습함으로써 향후 다수의 타당한 궤적을 샘플링할 수 있도록 한다.
• VAE의 잠재 공간은 재구성 손실과 KL 발산을 통해 최적화되어, 사회적 제약 조건과 장면 제약 조건을 준수하면서도 다양하고 현실적인 궤적 생성을 보장한다.
• SGSG-v3와 SGSG-v4 두 가지 변종이 도입된다: SGSG-v3는 전체 의미적 세그멘테이션을 사용하고, SGSG-v4는 경량 장면 인코더를 사용하여 GPU 메모리 사용량을 줄이며 약간의 정확도 손실를 감수한다.

실험 결과

연구 질문

• RQ1 통합된 모델이 사회적 영향력, 장면 제약 조건, 다중모드 궤적 생성을 효과적으로 통합하여 보행자 예측 성능을 향상시킬 수 있는가?
• RQ2 완전한 그래프에 비해 스타 그래프 구조가 사회적 모델링에서 성능과 메모리 효율성 측면에서 어떻게 비교되는가?
• RQ3 장면 게이팅된 특징을 통합할 경우 예측 궤적의 현실성과 정확도가 어느 정도 향상되는가?
• RQ4 장면 게이팅된 특징에 기반한 VAE가 후처리 보정 없이도 다양한 사회적으로 수용 가능하고 환경에 부합하는 궤적을 생성할 수 있는가?

주요 결과

• SGSG는 ETH 및 UCY 벤치마크 데이터셋에서 기존 20개의 방법보다 평균 이격 오차(ADE)와 최종 이격 오차(FDE) 측면에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 완전한 그래프 대신 효율적인 스타 그래프 구조를 사용함으로써 훈련 중 GPU 메모리 사용량이 STGAT 대비 4.7배 줄어들었다.
• SGSG-v4는 전체 SGSG 모델과 유사한 성능을 달성하면서도 훨씬 적은 GPU 메모리 사용량을 보이며, 자원 제약 조건이 있는 환경에서의 구현에 적합하다.
• 정성적 결과에서는 복잡한 행동(예: 그룹 보행, 정지, 방향 전환, 장애물 회피)에 대해 현실적인 궤적을 생성하는 것으로 나타났으며, 히트맵은 타당한 미래 경로의 높은 커버리지를 보여준다.
• 실패 사례는 갑작스럽고 예측 불가능한 동작(예: 180도 전환)일 때 사회적 또는 장면적 단서가 없을 경우 주로 발생하며, 이는 맥락 기반 모델링의 한계를 드러낸다.