[논문 리뷰] Potential Field: Interpretable and Unified Representation for Trajectory Prediction

Shan Su, Peng Cheng외 2명|arXiv (Cornell University)|2019. 11. 18.

Autonomous Vehicle Technology and Safety참고 문헌 38인용 수 11

한 줄 요약

이 논문은 환경, 관성, 사회적 자극을 위한 통합적이고 해석 가능한 표현으로 잠재력장(possible fields)을 사용하는 새로운 궤적 예측 프레임워크를 제안한다. 힘을 학습 가능한 데이터 기반의 잠재력장으로 모델링하고, 가우시안 분포를 가진 속도장에 기반해 향후 운동을 예측함으로써, ETH, UCY, Stanford Drone 데이터셋에서 최신 기술 수준의 성능을 달성하며, 다중 소스 운동 신호의 융합과 더불어 해석 가능성 향상을 입증한다.

ABSTRACT

Predicting an agent's future trajectory is a challenging task given the complicated stimuli (environmental/inertial/social) of motion. Prior works learn individual stimulus from different modules and fuse the representations in an end-to-end manner, which makes it hard to understand what are actually captured and how they are fused. In this work, we borrow the notion of potential field from physics as an interpretable and unified representation to model all stimuli. This allows us to not only supervise the intermediate learning process, but also have a coherent method to fuse the information of different sources. From the generated potential fields, we further estimate future motion direction and speed, which are modeled as Gaussian distributions to account for the multi-modal nature of the problem. The final prediction results are generated by recurrently moving past location based on the estimated motion direction and speed. We show state-of-the-art results on the ETH, UCY, and Stanford Drone datasets.

연구 동기 및 목표

• 기존 궤적 예측 모델이 환경, 관성, 사회적 자극을 별개로 다루는 바, 이에 따른 해석 가능성 부족과 통합의 비일관성 문제를 해결하기 위해.
• 다양한 운동 자극의 중간 지도 및 일관된 통합을 가능하게 하는 통합 표현을 개발하기 위해.
• 속도 방향과 크기를 가우시안 분포로 예측하여 인간 운동의 다중 모달성 특성을 모델링하기 위해.
• 신경망을 활용해 잠재력장 지식을 명시적인 장면 레이블 없이도 새로운 환경으로 일반화하기 위해.
• 해석 가능성 유지와 함께 표준 궤적 예측 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 관측된 궤적에서 잠재력장 값을 역설정하여 추정함으로써 학습을 위한 진짜값(ground truth)을 확보한다.
• 환경(보행 가능한 영역 및 장애물), 관성(과거 운동에 기반한 의도), 사회적(근처 사람 간 상호작용)의 세 가지 별도의 잠재력장을 정의한다.
• 원시 RGB 이미지와 궤적 데이터를 이용해 신경망을 학습시켜 환경 및 관성 잠재력장을 새로운 장면으로 일반화한다.
• 픽셀 단위의 덧셈을 통해 환경, 관성, 사회적 잠재력장을 통합된 운동장으로 융합한다.
• 결합된 잠재력장에서 방향과 크기의 가우시안 분포로 향후 속도를 예측한다.
• 예측된 속도장을 시간에 따라 반복적으로 통합함으로써 최종 궤적을 생성한다.

실험 결과

연구 질문

• RQ1 잠재력장이 궤적 예측에서 다양한 운동 자극(환경, 관성, 사회적)을 통합적이고 해석 가능한 표현으로 사용할 수 있는가?
• RQ2 해석 가능한 잠재력장을 중간 지도로 사용할 경우, 다중 소스 운동 자극의 학습 및 융합이 향상되는가?
• RQ3 명시적인 장면 레이블 없이도 신경망이 학습된 잠재력장 지식을 새로운 환경으로 일반화할 수 있는가?
• RQ4 비정형 환경, 복잡한 지형, 사회적 상호작용이 존재하는 복잡한 실제 시나리오에서 제안된 방법의 성능는 어떠한가?
• RQ5 다중 모달 속도 예측을 통합할 경우 궤적 예측 정확도는 어느 정도 향상되는가?

주요 결과

• 제안된 방법은 ETH, UCY, Stanford Drone 데이터셋에서 S-LSTM, DESIRE, Gated-RN, CVAE를 모두 초월하는 최신 기술 수준의 성능를 달성하였으며, 단일 모달 및 다중 모달 예측 설정 모두에서 뛰어난 성능를 보였다.
• 제거 실험 결과, 관성 필드 외에 환경 및 사회적 필드를 추가할 경우 성능 향상이 뚜렷하게 나타났다.
• SDD 데이터셋에서 4:1의 훈련-테스트 분할을 통해 다양한 환경에서 강력한 성능를 보이며, 새로운 장면으로의 일반화 능력이 뛰어나다는 것이 입증되었다.
• 정성적 결과를 통해 잠재력장이 데이터로부터 복잡한 도로 구조(예: 원형 교차로, 횡단보도)와 인간의 보행 습관(예: 도로 오른쪽을 따라 걷기)을 효과적으로 학습하는 것으로 나타났다.
• 사회적 상황에서의 다양한 행동(예: 회전, 정지, 만남, 따라가기 등)을 성공적으로 예측하였다.
• 가우시안 분포를 사용한 속도 예측은 인간 운동의 본질적 다중 모달성을 잘 반영하며, 1~4초 예측 수평선에서 FDE 및 ADE 지표에서 개선 효과를 보였다.