[논문 리뷰] Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks

Vineet Kosaraju, Amir Sadeghian외 4명|arXiv (Cornell University)|2019. 07. 04.

Autonomous Vehicle Technology and Safety인용 수 277

한 줄 요약

Social-BiGAT은 그래프 어텐션 네트워크와 Bicycle-GAN에서 영감을 받은 잠재 인코딩을 사용하여 다중 모드의, 사회적 및 물리적으로 타당한 보행자 트래젝토리 예측을 생성하고, 표준 벤치마크에서 이전 방법들보다 성능이 우수합니다.

ABSTRACT

Predicting the future trajectories of multiple interacting agents in a scene has become an increasingly important problem for many different applications ranging from control of autonomous vehicles and social robots to security and surveillance. This problem is compounded by the presence of social interactions between humans and their physical interactions with the scene. While the existing literature has explored some of these cues, they mainly ignored the multimodal nature of each human's future trajectory. In this paper, we present Social-BiGAT, a graph-based generative adversarial network that generates realistic, multimodal trajectory predictions by better modelling the social interactions of pedestrians in a scene. Our method is based on a graph attention network (GAT) that learns reliable feature representations that encode the social interactions between humans in the scene, and a recurrent encoder-decoder architecture that is trained adversarially to predict, based on the features, the humans' paths. We explicitly account for the multimodal nature of the prediction problem by forming a reversible transformation between each scene and its latent noise vector, as in Bicycle-GAN. We show that our framework achieves state-of-the-art performance comparing it to several baselines on existing trajectory forecasting benchmarks.

연구 동기 및 목표

• 자율 시스템과 사회 로봇을 위한 정확하고 다중 모드의 보행자 트래젝토리 예측의 필요성을 제시한다.
• 예측의 현실성을 높이기 위해 풍부한 사회적 상호작용과 장면 맥락을 모델링한다.
• 궤적과 잠재 노이즈 간의 양방향 매핑을 도입하여 다중 모드를 포착한다.
• 주의 메커니즘을 통해 물리적 장면 신호를 통합하여 일반화를 향상시킨다.
• 표준 트래젝토리 데이터셋에서 기존 기준선과 비교 평가한다.

제안 방법

• 보행자를 전부 연결된 그래프의 노드로 표현하고 Graph Attention Networks를 적용하여 사회적 상호작용을 학습한다.
• 과거 보행자 트래젝토리와 장면 맥락을 잠재 특징으로 인코딩한다.
• Bicycle-GAN에서 영감을 받은 잠재 인코더를 사용하여 다중 모드 출력을 위한 노이즈와 트래젝토리 간의 일대일 대응을 만든다.
• 미래 트래젝토리를 생성하기 위해 연결된 보행자, 사회적 및 물리적 맥락 특징과 잠재 노이즈를 포함한 디코더 LSTM에 조건을 거는 방식으로 작동한다.
• 다중 스케일에서 현실감을 강제하기 위해 이중 판별기(로컬-보행자 및 글로벌-장면)로 학습한다.
• 적대적 손실, 노이즈에 대한 재구성 손실(Lz), 트래젝토리 재구성 손실(Ltraj), 가우시안 잠재 분포와 일치시키기 위한 KL 발산을 최적화한다.

실험 결과

연구 질문

• RQ1 Can Social-BiGAT learn multimodal distributions of pedestrian trajectories while modeling global social interactions?
• RQ2 Does the combination of graph attention for social cues and Bicycle-GAN style latent encoding improve multimodal trajectory generation over prior GAN-based approaches?
• RQ3 How do local and global discriminators influence trajectory realism and diversity?
• RQ4 Does incorporating scene context via soft attention improve prediction accuracy across diverse scenes?

주요 결과

• Social-BiGAT은 테스트된 모델 중에서 최상의 성능을 달성하며, 이전 최첨단 대비 평균 최종 변위오차(FDE)를 평균 0.15 m 감소시킨다.
• 그래프 어텐션 네트워크(GAT)를 도입하면 글로벌 사회적 상호작용을 모델링하지 않는 기준선 대비 성능이 향상된다.
• GAT와 잠재 인코더(BiGAN)의 조합이 가장 강력한 결과를 낳아 다중 모드 생성의 이점을 강조한다.
• 잠재 공간 모델링은 샘플 수가 적을 때 보다 견고한 예측을 제공하고(낮은 K에서), ADE/FDE 변동성 증가를 감소시킨다.
• 정성적 결과는 Social-BiGAT가 혼잡한 환경과 충돌 회피 상황에서 낮은 분산의 더 현실적인 트래젝토리를 생성함을 보여준다.