[논문 리뷰] Spatially-Aware Graph Neural Networks for Relational Behavior Forecasting from Sensor Data

Sergio Casas, Cole Gulino외 2명|arXiv (Cornell University)|2019. 10. 18.

Anomaly Detection Techniques and Applications참고 문헌 50인용 수 52

한 줄 요약

SpAGNN는 감지와 확률적, 관계적 움직임 예측을 자율 주행을 위해 공동으로 수행하기 위해 탐지된 에이전트 간의 상호 작용을 모델링하는 공간 인지 그래프 신경망을 도입합니다. ATG4D 및 nuScenes에서 최첨단 결과를 달성합니다.

ABSTRACT

In this paper, we tackle the problem of relational behavior forecasting from sensor data. Towards this goal, we propose a novel spatially-aware graph neural network (SpAGNN) that models the interactions between agents in the scene. Specifically, we exploit a convolutional neural network to detect the actors and compute their initial states. A graph neural network then iteratively updates the actor states via a message passing process. Inspired by Gaussian belief propagation, we design the messages to be spatially-transformed parameters of the output distributions from neighboring agents. Our model is fully differentiable, thus enabling end-to-end training. Importantly, our probabilistic predictions can model uncertainty at the trajectory level. We demonstrate the effectiveness of our approach by achieving significant improvements over the state-of-the-art on two real-world self-driving datasets: ATG4D and nuScenes.

연구 동기 및 목표

• 자율 주행에서 에이전트 간의 상호 작용을 모델링하여 관계형 행동 예측을 제고하고 해결합니다.
• 지각(탐지)과 사회적 예측(궤적 예측)을 결합한 공동 학습 모델을 개발합니다.
• Gaussian belief propagation에서 영감을 얻은 공간 인지 GNN을 활용하여 다 에이전트 간 상호 작용을 포착합니다.
• 궤적 수준에서 불확실성을 정량화하는 확률적 궤적 예측을 생성합니다.

제안 방법

• LiDAR 및 HD 맵에서 입력을 받아 각 행위자에 대한 객체 탐지 및 RoI 기반 특징 추출을 수행하는 2단계 아키텍처.
• 각 탐지된 행위자가 노드인 완전 연결 방향성 상호 작용 그래프.
• 공간 인지 그래프 신경망(SpAGNN)이 메시지 전달을 펼치고, 메시지는 이웃 프레임과 정렬되도록 공간 좌표로 변환됩니다.
• 행위자별 출력 분포: x,y 궤적에 대해 가우시안, 방향에 대해 Von Mises를 사용하며, 매개변수는 GNN 메시지 전달을 통해 업데이트됩니다.
• 탐지 로스(분류 및 박스 회귀)와 궤적 예측의 음의 로그우도 등 다중 작업 목표를 포함한 엔드 투 엔드 학습.

실험 결과

연구 질문

• RQ1 다중 에이전트 상호 작용을 효과적으로 모델링하여 자율 주행에서 탐지와 관계형 움직임 예측을 모두 개선할 수 있는가?
• RQ2 로컬 좌표 변환을 활용하는 공간 인지 GNN이 확률적 궤적 예측 및 사회적 준수를 개선하는가?
• RQ3 공간 탐지-예측 프레임워크의 엔드 투 엔드 학습이 인식에서 예측으로의 오차 전파를 완화하는가?
• RQ4 RoI 정렬된 행위자 특징과 공간 변환의 사용이 예측 정확도와 불확실성 모델링에 어떤 영향을 미치는가?

주요 결과

• SpAGNN가 ATG4D 및 nuScenes에서 최첨단 기준보다 탐지 및 상호 작용 인지 예측을 개선합니다.
• 공간으로 변환된 메시지와 로컬 좌표 시스템의 도입은 충돌 비율을 줄이고 다중 시점에서 중심점 L2 및 방향 오차를 개선합니다.
• 회전된 RoI Align 기반의 행위자별 특징이 RoI 특징을 단순한 특징 인덱싱보다 우수하게 만듭니다.
• 공간 인식(전역/전역-상대 좌표의 경계 상자) 및 분포형 출력(가우시안 + Von Mises)이 예측 엔트로피를 낮추고 더 정확한 예측에 기여합니다.