[论文解读] Deep Learning for Vision-based Prediction: A Survey

Amir Rasouli|arXiv (Cornell University)|Jun 30, 2020

Human Pose and Action Recognition参考文献 318被引用 20

一句话总结

本综述系统性地总结了2018至2023年基于深度学习的视觉预测方法，将它们分类为视频、动作、轨迹、运动及其他预测任务。分析了模型架构、训练方法、数据类型、评估指标与基准数据集，指出了标准化方面的挑战，并提出建立一个统一的参考数据库以提升可复现性与模型比较性。

ABSTRACT

Vision-based prediction algorithms have a wide range of applications including autonomous driving, surveillance, human-robot interaction, weather prediction. The objective of this paper is to provide an overview of the field in the past five years with a particular focus on deep learning approaches. For this purpose, we categorize these algorithms into video prediction, action prediction, trajectory prediction, body motion prediction, and other prediction applications. For each category, we highlight the common architectures, training methods and types of data used. In addition, we discuss the common evaluation metrics and datasets used for vision-based prediction tasks. A database of all the information presented in this survey including, cross-referenced according to papers, datasets and metrics, can be found online at https://github.com/aras62/vision-based-prediction.

研究动机与目标

• 系统回顾2018至2023年期间基于视觉的预测任务中深度学习的最新进展。
• 将基于视觉的预测方法划分为五类核心类型：视频预测、动作预测、轨迹预测、运动（姿态）预测及其他应用。
• 分析这些类别中常见的模型架构、训练技术、数据类型与评估指标。
• 识别评估协议、指标与数据集使用中的不一致性，这些不一致阻碍了模型之间的公平比较。
• 通过一个公开的GitHub仓库，提供一个集中化、可交叉引用的论文、数据集与指标数据库，以支持可复现性与基准测试。

提出的方法

• 本文将基于视觉的预测算法划分为五大类：视频预测、动作预测、轨迹预测、运动（姿态）预测及其他应用（如天气或语义预测）。
• 根据其核心推理架构对模型进行分类——循环、前馈或混合架构——重点关注负责时间推理的组件。
• 分析涵盖端到端视觉模型与使用预处理特征（如姿态、轨迹）作为输入的方法，区分主要视觉数据输入与次要特征输入。
• 按类别回顾评估指标：视频预测使用MSE/SSIM/PSNR，动作预测使用准确率/精确率/召回率，轨迹预测使用ADE/FDE/NLL/KLD，运动预测使用MPJPE/PCK。
• 按应用领域分析数据集，如Epic-Kitchen和Breakfast用于烹饪动作，UCY和ETH用于监控场景，Human3.6M用于运动预测。
• 作者整理了一个全面且可交叉引用的数据库，涵盖所有调研的工作，包括论文、数据集与评估指标，托管于https://github.com/aras62/vision-based-prediction。

实验结果

研究问题

• RQ1 在不同应用类别中，视觉预测任务中主导的深度学习架构有哪些？
• RQ2 视频、动作、轨迹与运动预测任务中的评估指标与数据集如何变化？其中存在哪些不一致之处？
• RQ3 当前模型在不同视觉领域中的泛化能力如何，特别是在视频预测任务中？
• RQ4 当前视觉预测系统的关键局限性是什么，尤其是在处理遮挡、长时依赖与多模态上下文方面？
• RQ5 如何通过标准化评估协议、评估指标与代码公开，提升该领域中的可复现性与公平比较？

主要发现

• 视频预测模型在KITTI、UCF-101与MMNIST等多样化数据集上表现出广泛泛化能力，但数据集选择的依据往往未被解释，可能反映出算法本身的局限性。
• 动作预测模型在复杂、高安全风险的场景（如交通事件预测）中仍表现不佳，多模态输入与上下文推理能力未被充分挖掘。
• 仅依赖空间位置变化的轨迹预测模型在复杂环境中表现不足；整合姿态、朝向、道路结构与交通流信息可显著提升预测准确性。
• 仅基于姿态变化的运动预测模型在处理长期或依赖上下文的动作时表现受限，表明需要更丰富的上下文建模能力。
• 在轨迹与运动预测中，误差的计算与报告方式存在显著差异，主要由于指标使用不一致、单位（像素与米）混用以及关键细节缺失，严重影响了模型比较的可靠性。
• 缺乏标准化的评估流程、开源代码与共享数据集，阻碍了对前馈网络与循环网络等架构，或对抗性训练策略等方法的系统性比较。