[논문 리뷰] Robust Trajectory Forecasting for Multiple Intelligent Agents in Dynamic Scene

Yanliang Zhu, Dongchun Ren외 4명|arXiv (Cornell University)|2020. 05. 27.

Autonomous Vehicle Technology and Safety참고 문헌 26인용 수 14

한 줄 요약

이 논문은 공간적 시간적 상호작용 모델링, HD 지ap을 통한 환경 특징 인코딩, 그리고 주목적 기반 예측 네트워크를 통합하여 복잡한 동적 환경에서 다수의 지능형 에이전트에 대한 강건한 궤적 예측 방법을 제안한다. 제안된 방법은 Argoverse에서 ADE와 FDE를 각각 최대 14%와 11% 감소시켜 최신 기술 수준(SOTA) 성능을 달성하였으며, ETH/UCY 및 ApolloScape 데이터셋에서도 기존 방법들을 능가한다.

ABSTRACT

Trajectory forecasting, or trajectory prediction, of multiple interacting agents in dynamic scenes, is an important problem for many applications, such as robotic systems and autonomous driving. The problem is a great challenge because of the complex interactions among the agents and their interactions with the surrounding scenes. In this paper, we present a novel method for the robust trajectory forecasting of multiple intelligent agents in dynamic scenes. The proposed method consists of three major interrelated components: an interaction net for global spatiotemporal interactive feature extraction, an environment net for decoding dynamic scenes (i.e., the surrounding road topology of an agent), and a prediction net that combines the spatiotemporal feature, the scene feature, the past trajectories of agents and some random noise for the robust trajectory prediction of agents. Experiments on pedestrian-walking and vehicle-pedestrian heterogeneous datasets demonstrate that the proposed method outperforms the state-of-the-art prediction methods in terms of prediction accuracy.

연구 동기 및 목표

• 다양한 상호작용을 보이는 다수의 에이전트가 존재하는 복잡한 동적 환경에서 정확하고 장기적인 궤적 예측의 과제를 해결한다.
• 에이전트 간 사회적 상호작용과 도로 지형도와 같은 환경적 영향을 모델링하여 예측의 강건성을 향상시킨다.
• 전반적인 공간적 시간적 의존성과 환경적 맥락을 포착하지 못하는 RNN 기반 모델의 한계를 극복한다.
• 이질적인 에이전트 특징과 환경 인식 표현을 통합하여 예측 정확도를 향상시킨다.
• 다양한 시나리오, 특히 보행자와 차량 간 상호작용를 포함한 다양한 환경에서 일반화 가능한 강건한 다중모드 궤적 예측을 가능하게 한다.

제안 방법

• 과거 궤적을 LSTM으로 인코딩한 뒤, 소프트 에이전트 추적 모듈을 갖춘 상호작용 네트워크를 사용하여 전역적인 공간적 시간적 상호작용을 모델링한다.
• 사전 훈련된 CNN를 사용하여 도로 지형도의 고해상도(HD) 지도를 인코딩하는 환경 네트워크를 도입하여 환경 맥락 표현을 제공한다.
• 에이전트 간의 상호작용을 적응적으로 가중하기 위해 주목적 기반 메커니즘을 사용하여 관련 있는 사회적 역학에 집중한다.
• 공간적 시간적 상호작용 특징, 환경 특징, 과거 궤적, 임의의 노이즈를 예측 헤드에 통합하여 다중모드 예측을 수행한다.
• 모든 구성 요소를 종합적으로 최적화하기 위해 ADE와 FDE를 손실 함수로 사용하여 엔드 투 엔드 모델을 훈련시킨다.
• Argoverse에서 평가를 위해 에고 퍼스펙티브와 월드 좌표계를 모두 활용하며, 에고 모션과 계획된 궤적 특징을 통합한다.

실험 결과

연구 질문

• RQ1 다수의 에이전트 간 전역적인 공간적 시간적 상호작용은 어떻게 효과적으로 모델링되어야 하며, 이는 강건한 궤적 예측에 어떻게 기여하는가?
• RQ2 고해상도 지도 특징을 통합할 경우, 동적 환경에서 궤적 예측 정확도는 어느 정도 향상되는가?
• RQ3 상호작용 특징과 환경 특징을 주목적 기반으로 융합할 경우, 다중모드 예측 성능은 어떻게 향상되는가?
• RQ4 제안된 방법은 다양한 시나리오와 복잡도, 에이전트 유형을 가진 다양한 데이터셋에 대해 어떻게 일반화되는가?
• RQ5 각 구성 요소(상호작용, 환경, 추적 등)가 전체 예측 정확도에 기여하는 개별 기여도는 어떠한가?

주요 결과

• 제안된 방법은 월드 좌표계를 사용하여 Argoverse에서 Social GAN 대비 ADE를 14% 감소시키고 FDE를 11% 감소시켰다.
• Argoverse 데이터셋에서 에고 퍼스펙티브 설정에서는 런업 메서드인 Social LSTM 대비 ADE를 11% 향상시키고 FDE를 4% 향상시켰다.
• 제거 분석 결과, 위치 특징(PF)과 추적 특징(TF)이 가장 크게 기여하며, 오차를 각각 0.47과 0.14 감소시켰다.
• 환경 특징(EF)과 에고 궤적 특징(ETF) 역시 의미 있는 기여를 하여 오차를 각각 0.2와 0.4 감소시켰다.
• 모든 벤치마크 데이터셋에서 기준 모델(LINEAR, KF, vanilla-LSTM)과 최신 기술 수준 모델(Social-LSTM, Social-GAN, Sophie)을 모두 능가하는 성능을 보였다.
• 궤적이 더 선형적인 ETH-hotel 서브셋에서는 비선형 모델인 Social-GAN과 Sophie조차도 제안된 방법이 우월했으며, 이는 강력한 일반화 능력을 보여준다.