[论文解读] An Uncertain Future: Forecasting from Static Images using Variational Autoencoders

Jacob Walker, Carl Doersch+2 more|arXiv (Cornell University)|Jun 25, 2016

Anomaly Detection Techniques and Applications参考文献 27被引用 4

一句话总结

本文提出了一种条件变分自编码器，通过潜在变量对从静态图像中预测密集像素轨迹时的未来运动不确定性进行建模。该模型在无任何人工标注的多样化视频上进行训练，能够生成多种合理的未来运动轨迹，并学习可迁移的表征，适用于目标检测等下游任务。

ABSTRACT

In a given scene, humans can often easily predict a set of immediate future events that might happen. However, generalized pixel-level anticipation in computer vision systems is difficult because machine learning struggles with the ambiguity inherent in predicting the future. In this paper, we focus on predicting the dense trajectory of pixels in a scene, specifically what will move in the scene, where it will travel, and how it will deform over the course of one second. We propose a conditional variational autoencoder as a solution to this problem. In this framework, direct inference from the image shapes the distribution of possible trajectories, while latent variables encode any necessary information that is not available in the image. We show that our method is able to successfully predict events in a wide variety of scenes and can produce multiple different predictions when the future is ambiguous. Our algorithm is trained on thousands of diverse, realistic videos and requires absolutely no human labeling. In addition to non-semantic action prediction, we find that our method learns a representation that is applicable to semantic vision tasks.

研究动机与目标

• 通过建模可能的未来运动分布，实现从静态图像进行像素级视觉预测。
• 通过潜在变量编码仅从图像本身无法推断出的不确定运动模式，以解决未来运动预测中的歧义性。
• 开发一种无需人工标注标签的自监督框架以进行训练。
• 学习一种可迁移的通用视觉表征，适用于目标检测等语义任务。
• 证明密集轨迹预测可在保持计算可行性的同时，产生丰富且多样的预测结果。

提出的方法

• 使用条件变分自编码器（CVAE），其中图像作为未来轨迹分布的条件。
• 模型通过前馈卷积网络将从 N(0,1) 中采样的噪声变量映射为密集像素轨迹。
• 潜在变量编码运动不确定性，使得同一输入图像可生成多种多样的预测结果。
• 模型在数千个未经筛选的视频上端到端进行训练，无需人工标注。
• 图像编码器分支处理输入图像，并对潜在空间分布进行条件化。
• 解码器网络通过将潜在变量映射为时间序列上的像素级运动向量，生成未来轨迹。

实验结果

研究问题

• RQ1 深度生成模型能否在无任何人工标注的情况下，仅从单张静态图像预测出多种合理的未来运动轨迹？
• RQ2 在条件变分自编码器框架中，如何通过潜在变量有效建模未来运动的不确定性？
• RQ3 自监督运动预测能否生成对目标检测等语义视觉任务有用的表征？
• RQ4 与光流或动作分类相比，预测密集轨迹是否能带来更好的泛化能力和预测多样性？
• RQ5 该模型的内部表征在有限标注数据条件下，能在多大程度上迁移到下游识别任务中？

主要发现

• 该模型成功预测出模糊场景下多种多样且逼真的运动轨迹，例如一个人下蹲或滑雪的场景。
• 在 PASCAL VOC 2012 目标检测基准上，该模型仅使用 UCF101 中的 13,000 个视频帧，即达到了 47.3% 的 mAP，优于其他无监督方法。
• 在行人检测任务上，该模型优于 [31]，可能归因于其在训练数据中重点关注了人类运动。
• 用于运动预测所学习到的表征在语义任务中具有良好的泛化能力，即使标注数据极少。
• 通过在低维、结构化的空间中建模轨迹，该方法避免了像素级预测中常见的模糊问题。
• 该框架支持从可能未来的完整分布中采样，从而捕捉视觉预测中固有的不确定性。