[论文解读] DESIRE: Distant Future Prediction in Dynamic Scenes with Interacting Agents

Namhoon Lee, Wongun Choi+4 more|arXiv (Cornell University)|Apr 14, 2017

Reinforcement Learning in Robotics参考文献 49被引用 75

一句话总结

DESIRE 是一个深度随机 IOC-RNN 编码器-解码器，通过将 CVAE 抽样的假设、基于 IOC 的排序、场景上下文融合以及迭代改进结合起来，为多个互动代理预测多样化、长期的未来。

ABSTRACT

We introduce a Deep Stochastic IOC RNN Encoderdecoder framework, DESIRE, for the task of future predictions of multiple interacting agents in dynamic scenes. DESIRE effectively predicts future locations of objects in multiple scenes by 1) accounting for the multi-modal nature of the future prediction (i.e., given the same context, future may vary), 2) foreseeing the potential future outcomes and make a strategic prediction based on that, and 3) reasoning not only from the past motion history, but also from the scene context as well as the interactions among the agents. DESIRE achieves these in a single end-to-end trainable neural network model, while being computationally efficient. The model first obtains a diverse set of hypothetical future prediction samples employing a conditional variational autoencoder, which are ranked and refined by the following RNN scoring-regression module. Samples are scored by accounting for accumulated future rewards, which enables better long-term strategic decisions similar to IOC frameworks. An RNN scene context fusion module jointly captures past motion histories, the semantic scene context and interactions among multiple agents. A feedback mechanism iterates over the ranking and refinement to further boost the prediction accuracy. We evaluate our model on two publicly available datasets: KITTI and Stanford Drone Dataset. Our experiments show that the proposed model significantly improves the prediction accuracy compared to other baseline methods.

研究动机与目标

• 在具有多代理互动的动态场景中，推动实现准确的远距离未来预测。
• 开发一个端到端可训练的框架，捕捉多模态性和长期奖励。
• 结合过往运动、场景上下文与代理间交互以提升预测质量。
• 生成多条可信的未来轨迹，并通过迭代反馈对它们进行细化。
• 实现可扩展性并适用于驾驶和空中监控场景。

提出的方法

• 使用条件变分自编码器 (CVAE) 进行多样本生成，从过去轨迹产生多条未来轨迹假设。
• 基于 IOC 的排序与改进，根据累积的未来奖励来对样本进行评分并迭代调整预测。
• 场景上下文融合 (SCF) 将过去运动、基于 CNN 的场景上下文以及代理间交互聚合到 RNN 解码中。
• 一种带 GRU 的 RNN 编码器-解码器架构，对过去轨迹和场景进行编码，并解码多条未来样本。
• 迭代反馈循环中，预测的位移用于细化样本，以更好地符合长时奖励。
• 联合优化，包含重构损失、KLD 损失、用于采样排序的交叉熵损失，以及用于细化的回归损失。

实验结果

研究问题

• RQ1 DESIRE 是否能够在不同场景上下文下为多个互动代理生成多样化、模态多样的未来轨迹？
• RQ2 将场景上下文和代理间交互纳入考虑是否能提升长时段预测的准确性？
• RQ3 基于 IOC 的排序和迭代改进是否比确定性或被动基线产生更准确、稳定的预测？
• RQ4 模型在驾驶场景（KITTI）和空中监控场景（Stanford Drone Dataset）上的表现如何？
• RQ5 样本数量和迭代反馈对预测质量的影响是什么？

主要发现

• 在 KITTI 和 SDD 上，DESIRE 与线性和 RNN 基线相比显著提升未来轨迹预测。
• CVAE-based sampling 捕捉多模态性，更多样本带来更接近 oracle 风格的预测。
• 通过 SCF 将场景上下文和代理间交互纳入，使准确性优于与场景无关的变体。
• 迭代回归细化逐步降低预测误差并提升长时程预测。
• DESIRE-S ( semantic context only ) 与 DESIRE-SI ( context plus interactions ) 在存在多个代理时表现更强，尤其是在 SDD 数据集上。