[논문 리뷰] DESIRE: Distant Future Prediction in Dynamic Scenes with Interacting Agents

Namhoon Lee, Wongun Choi외 4명|arXiv (Cornell University)|2017. 04. 14.

Reinforcement Learning in Robotics참고 문헌 49인용 수 75

한 줄 요약

DESIRE는 다중 상호 작용 에이전트의 다양하고 장기적인 미래를 예측하는 심층 확률적 IOC-RNN 인코더-디코더로, CVAE 샘플링 가설, IOC 기반 랭킹, 씬 컨텍스트 융합, 그리고 반복적 정교화를 결합하여 예측합니다.

ABSTRACT

We introduce a Deep Stochastic IOC RNN Encoderdecoder framework, DESIRE, for the task of future predictions of multiple interacting agents in dynamic scenes. DESIRE effectively predicts future locations of objects in multiple scenes by 1) accounting for the multi-modal nature of the future prediction (i.e., given the same context, future may vary), 2) foreseeing the potential future outcomes and make a strategic prediction based on that, and 3) reasoning not only from the past motion history, but also from the scene context as well as the interactions among the agents. DESIRE achieves these in a single end-to-end trainable neural network model, while being computationally efficient. The model first obtains a diverse set of hypothetical future prediction samples employing a conditional variational autoencoder, which are ranked and refined by the following RNN scoring-regression module. Samples are scored by accounting for accumulated future rewards, which enables better long-term strategic decisions similar to IOC frameworks. An RNN scene context fusion module jointly captures past motion histories, the semantic scene context and interactions among multiple agents. A feedback mechanism iterates over the ranking and refinement to further boost the prediction accuracy. We evaluate our model on two publicly available datasets: KITTI and Stanford Drone Dataset. Our experiments show that the proposed model significantly improves the prediction accuracy compared to other baseline methods.

연구 동기 및 목표

• 다이나믹 씬에서 상호 작용하는 다중 에이전트의 정확한 먼 미래 예측에 동기를 부여한다.
• 다중 모드성과 장기 보상을 포착하는 엔드-투-엔드 학습 가능한 프레임워크를 개발한다.
• 과거 모션, 씬 컨텍스트, 에이전트 간 상호 작용을 반영하여 예측 품질을 향상시킨다.
• 여러 개의 가능성 있는 미래 궤적을 생성하고 반복적인 피드백을 통해 이를 정제한다.
• 주행 및 항공 감시 맥락에 대한 확장성과 적용 가능성을 가능하게 한다.

제안 방법

• 과거 궤적으로부터 여러 미래 궤적 가설을 생성하기 위해 조건부 변분 자동인코더(CVAE)를 이용한 다양한 샘플 생성.
• 누적된 미래 보상에 따라 샘플의 점수를 매기고 예측을 반복적으로 조정하는 IOC 기반 랭킹 및 정제.
• SCF(Scene Context Fusion: 과거 모션, CNN 기반 씬 컨텍스트, 에이전트 간 상호 작용을 RNN 디코딩에 합성).
• 과거 궤적과 씬을 인코딩하고 다수의 미래 샘플을 디코딩하는 GRU를 갖춘 RNN 인코더-디코더 아키텍처.
• 예상된 변위가 장기 보상에 더 잘 맞도록 샘플을 정제하기 위해 반복적 피드백 루프를 적용.
• 재구성 손실, KLD 손실, 샘플링 랭킹을 위한 교차 엔트로피 손실, 정제를 위한 회귀 손실의 공동 최적화.

실험 결과

연구 질문

• RQ1 DESIRE가 다양한 씬 컨텍스트에서 다중 상호 작용 에이전트에 대한 다양하고 다모드의 미래 궤적을 생성할 수 있는가?
• RQ2 씬 컨텍스트 및 에이전트 간 상호 작용을 도입하면 장기 예측 정확도가 향상되는가?
• RQ3 IOC 기반 랭킹 및 반복적 정제가 결정론적 또는 반응적 대 baseline보다 더 정확하고 안정적인 예측을 제공하는가?
• RQ4 모형이 운전(KITTI) 및 항공 감시(Stanford Drone Dataset) 시나리오에서 어떻게 수행되는가?
• RQ5 샘플 양과 반복적 피드백이 예측 품질에 어떤 영향을 미치는가?

주요 결과

• DESIRE는 KITTI 및 SDD에서 선형 및 RNN 기반의 기준선에 비해 미래 궤적 예측을 크게 향상시킨다.
• CVAE 기반 샘플링은 다중 가능성을 포착하며, 더 많은 샘플은 오라클 스타일 예측을 향상시킨다.
• SCF를 통한 씬 컨텍스트 및 에이전트 간 상호 작용의 도입은 씬-무관 버전에 비해 정확도를 향상시킨다.
• 반복적 회귀 정제는 점진적으로 예측 오차를 줄이고 장기 예측을 향상시킨다.
• DESIRE-S(시맨틱 컨텍스트만) 및 DESIRE-SI(컨텍스트+상호 작용)는 특히 다수의 에이전트가 존재하는 경우의 성능이 더 강하게 나타나며, 특히 SDD 데이터 세트에서 그렇다.