[논문 리뷰] Collaborative Motion Prediction via Neural Motion Message Passing

Yue Hu, Siheng Chen외 2명|arXiv (Cornell University)|2020. 03. 14.

Autonomous Vehicle Technology and Safety참고 문헌 42인용 수 4

한 줄 요약

이 논문은 관측된 궤적에서 교통 참가자들과 그들 간의 방향성 있는 상호작용을 함께 학습하는 그래프 기반 방법인 신경 운동 메시지 전파(Neural Motion Message Passing, NMMP)를 제안한다. 상호작용을 명시적으로 모델링하고 해석 가능성을 확보함으로써, 보행자 및 보행자-차량 병행 시나리오에서 운동 예측 성능을 향상시켜 기존 최고 성능(SOTA) 방법들을 초월한다. 다양한 벤치마크에서 검증되었다.

ABSTRACT

Motion prediction is essential and challenging for autonomous vehicles and social robots. One challenge of motion prediction is to model the interaction among traffic actors, which could cooperate with each other to avoid collisions or form groups. To address this challenge, we propose neural motion message passing (NMMP) to explicitly model the interaction and learn representations for directed interactions between actors. Based on the proposed NMMP, we design the motion prediction systems for two settings: the pedestrian setting and the joint pedestrian and vehicle setting. Both systems share a common pattern: we use an individual branch to model the behavior of a single actor and an interactive branch to model the interaction between actors, while with different wrappers to handle the varied input formats and characteristics. The experimental results show that both systems outperform the previous state-of-the-art methods on several existing benchmarks. Besides, we provide interpretability for interaction learning.

연구 동기 및 목표

• 자율 시스템의 운동 예측에서 복잡하고 방향성 있는 교통 참가자 간의 상호작용을 모델링하는 과제를 해결한다.
• 보행자 전용 및 보행자-차량 병행 시나리오에서 상호작용 표현을 명시적으로 학습함으로써 운동 예측 정확도를 향상시킨다.
• 분리된 의미 있는 상호작용 임베딩을 통해 상호작용 학습의 해석 가능성을 보장한다.
• 공유된 상호작용 모델링을 사용해 다양한 운동 예측 설정으로 일반화되는 통합 프레임워크를 설계한다.
• 이전 방법들이 상호작용을 암묵적으로 처리하거나 방향성과 동적 상호작용 패턴을 제대로 모델링하지 못하는 한계를 극복한다.

제안 방법

• 궤적에서 참가자와 그들 간 이원 상호작용의 공동 표현을 학습하는 메시지 전파 프레임워크인 신경 운동 메시지 전파(Neural Motion Message Passing, NMMP)를 제안한다.
• 노드가 참가자이고 간선이 방향성 있는 상호작용을 나타내는 상호작용 그래프를 구성하며, 노드와 간선 모두에 학습 가능한 임베딩을 적용한다.
• 이중 브랜치 아키텍처를 사용: 개별 브랜치는 단일 참가자 동역학을 모델링하고, 상호작용 브랜치는 NMMP를 통해 참가자 간 상호작용을 모델링한다.
• 임무별 워퍼를 통합: 개방된 보행자 장면에는 GAN 기반 디코더를, 지도와 차량 방향 정보가 있는 도심 주행 시나리오에는 CNN + 좌표 변환 구조를 적용한다.
• t-SNE를 적용해 상호작용 임베딩을 시각화하고 공간적 상호작용 패턴과 연관지켜 해석 가능성을 확보한다.
• 미래 궤적 예측에 대한 지도 학습 손실을 사용해 엔드 투 엔드로 훈련하며, 평가 지표로 ADE와 FDE를 사용한다.

실험 결과

연구 질문

• RQ1 복잡한 장면에서 교통 참가자 간의 방향성 있는 동적 상호작용을 명시적으로 모델링하면 운동 예측 성능 향상에 기여하는가?
• RQ2 기존의 그래프 기반 및 어텐션 기반 상호작용 모델링 방법과 비교할 때, 제안된 NMMP 모듈은 정확도와 일반화 능력 측면에서 어떻게 성능을 내는가?
• RQ3 풍부한 사회적 상호작용이 존재하는 고밀도 군중 시나리오에서 NMMP 모듈은 어느 정도 성능 향상을 이룬다?
• RQ4 NMMP가 학습한 상호작용 임베딩은 실제 상호작용 패턴을 반영하여 의미적으로 해석 가능하고 시각화 가능한가?
• RQ5 공유된 NMMP와 임무별 헤드를 갖춘 이중 브랜치 아키텍처는 보행자 전용 및 보행자-차량 병행 시나리오 등 다양한 운동 예측 설정으로 일반화되는가?

주요 결과

• 제안된 PMP-NMMP 시스템은 ETH-UCY 데이터셋에서 SOTA 기준인 SGAN을 초월하여 HOTEL 세트에서 ADE는 25.4% 향상되고 FDE는 12.7% 향상되었다.
• NMMP의 더블 디코더 구조는 단일 디코더 구조보다 유의미하게 뛰어나며, ADE/FDE가 0.52/1.11 대비 0.56/1.19를 기록하여 다중 에이전트 영향력 모델링이 향상됨을 시사한다.
• 시스템의 최종 출력은 개별 브랜치 출력을 초월하며, 궤적 예측에서 상호작용 브랜치의 핵심적 역할을 입증한다.
• 보행자 수가 증가하는 군중 시나리오에서는 NMMP와 SGAN 간 성능 격차가 커지며, 고밀도 장면에서 ADE의 정규화 비율이 30% 이상, FDE는 25% 이상을 기록한다.
• 상호작용 임베딩의 시각화 결과, 유사한 상호작용 패턴(예: 병행 보행, 마주보기)이 임베딩 공간에서 군집화되어 있어 해석 가능성과 의미 일관성을 확인한다.
• NMMP 모듈은 보행자 전용 및 보행자-차량 병행 설정 모두에서 일관된 성능 향상을 이끌어내어 일반화 능력을 입증한다.