[논문 리뷰] SSAGCN: Social Soft Attention Graph Convolution Network for Pedestrian Trajectory Prediction

Pei Lv, Wentong Wang외 4명|arXiv (Cornell University)|2021. 12. 05.

Traffic and Road Safety인용 수 7

한 줄 요약

이 논문은 사회적 상호작용과 환경와의 장면 상호작용을 동시에 모델링하기 위해 사회적 소프트 어텐션 메커니즘과 순차적 장면 어텐션 공유를 사용하는 새로운 그래프 컨volution 네트워크인 SSAGCN을 제안한다. 다중 요인 사회 역학과 시간적으로 일관된 장면 영향을 통합된 그래프 구조에 통합함으로써, SSAGCN은 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, 물리적이고 사회적으로 타당한 궤적 예측을 수행한다.

ABSTRACT

Pedestrian trajectory prediction is an important technique of autonomous driving, which has become a research hot-spot in recent years. Previous methods mainly rely on the position relationship of pedestrians to model social interaction, which is obviously not enough to represent the complex cases in real situations. In addition, most of existing work usually introduce the scene interaction module as an independent branch and embed the social interaction features in the process of trajectory generation, rather than simultaneously carrying out the social interaction and scene interaction, which may undermine the rationality of trajectory prediction. In this paper, we propose one new prediction model named Social Soft Attention Graph Convolution Network (SSAGCN) which aims to simultaneously handle social interactions among pedestrians and scene interactions between pedestrians and environments. In detail, when modeling social interaction, we propose a new \emph{social soft attention function}, which fully considers various interaction factors among pedestrians. And it can distinguish the influence of pedestrians around the agent based on different factors under various situations. For the physical interaction, we propose one new \emph{sequential scene sharing mechanism}. The influence of the scene on one agent at each moment can be shared with other neighbors through social soft attention, therefore the influence of the scene is expanded both in spatial and temporal dimension. With the help of these improvements, we successfully obtain socially and physically acceptable predicted trajectories. The experiments on public available datasets prove the effectiveness of SSAGCN and have achieved state-of-the-art results.

연구 동기 및 목표

• 기존 방법들이 사회적 상호작용과 장면 상호작용을 별개로, 고립된 방식으로 모델링하는 데서 비롯되는 한계를 해결하기 위해.
• 상대적 속도, 방향, 시야 등 다각도 사회적 요인을 상호작용 모델링에 통합함으로써 궤적 예측 정확도를 향상시키기 위해.
• 순차적 장면 공유 메커니즘을 통해 보행자 간에 지속적이고 시간 인식된 장면 영향을 전파할 수 있도록 하기 위해.
• 더 일관되고 현실적인 예측을 위해 사회적 상호작용과 장면 상호작용 모델링을 단일 그래프 컨volution 프레임워크 내에서 통합하기 위해.
• 충돌을 피하는 것과 같은 사회적으로 수용 가능한 행동과 장애물 및 도로 경계를 존중하는 것과 같은 물리적으로 타당한 행동을 모두 반영한 궤적 예측을 생성하기 위해.

제안 방법

• 상대적 위치, 속도, 방향, 시야를 바탕으로 보행자 간의 동적이고 다중 요인 상호작용 가중치를 계산하는 사회적 소프트 어텐션 함수를 제안한다.
• 사회적 소프트 어텐션 점수를 사용하여 가중치가 부여된 인접 행렬을 구성함으로써 보행자 간 영향력 수준의 다양성을 반영한다.
• 각 시간 단계에서 장면 어텐션을 계산하고 시간에 따라 사회적 그래프를 통해 이를 전파하는 순차적 장면 어텐션 공유 메커니즘을 도입한다.
• 각 시간 단계에서 노드 임베딩에 장면 어텐션 특징을 통합함으로써 환경적 영향의 시간적 연속성과 공간적 확산을 가능하게 한다.
• 동적으로 가중치가 부여된 사회적 그래프를 기반으로 그래프 컨volution 네트워크(GCN)를 활용해 특징을 집계하여 궤적 예측을 수행한다.
• 사회적 및 장면적 특징이 GCN 처리 이전에 노드 표현에 함께 임bedding되는 통합 인코더-디코더 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 상대적 거리 외의 다양한 동적 요인을 고려함으로써 보행자 간 사회적 상호작용을 더 현실적으로 모델링할 수 있는가?
• RQ2 물리적 환경의 영향이 실시간으로 지속적인 장면 상호작용을 반영하는 방식으로 보행자 간에 효과적으로 전파될 수 있는가?
• RQ3 사회적 상호작용과 장면 상호작용을 단일 그래프 프레임워크 내에서 함께 모델링하는 것이 별도로 모델링하는 것보다 예측 정확도와 타당성을 향상시키는가?
• RQ4 제안된 순차적 장면 어텐션 공유 메커니즘이 궤적 예측에서 장면 영향의 공간적·시간적 일관성을 어떻게 향상시키는가?
• RQ5 장애물과 혼잡한 보행자 유량이 있는 복잡한 도시 환경에서 모델이 물리적·사회적으로 타당한 궤적을 얼마나 잘 생성할 수 있는가?

주요 결과

• SSAGCN은 SDD 및 UCY를 포함한 여러 공개 벤치마크에서 최신 기술 수준의 성능을 달성하여 ADE 및 FDE 지표에서 이전 방법들을 능가한다.
• 인접 행렬의 시각화 결과에서 SSAGCN이 특히 머리 마주침과 같은 고위험 상황에서 사회적 상호작용을 더 잘 구분하고 필터링하는 것으로 나타났다.
• 모델은 보행자 간 직접적인 충돌을 피하기 위해 서로를 피하는 행동(예: 마주보는 방향에서 갈라지기)을 성공적으로 예측한다.
• 장애물 쪽으로 향하는 보행자와 같은 도전적인 케이스에서도, 모델은 충돌을 피하기 위해 경로를 왜곡하는 물리적으로 타당한 궤적을 생성한다.
• 순차적 장면 어텐션 공유 메커니즘은 도로 경계와 같은 장면 효과가 사회적 그래프를 통해 직접 장애물에 인접하지 않은 보행자에게도 영향을 미치도록 한다.
• 정성적 결과는 예측 궤적이 사회적으로 수용 가능한(예: 안전한 거리 유지)이며 물리적으로 일관된(예: 도로 내에서 머물며 장애물 회피) 것으로 확인된다.