[论文解读] Visual Forecasting by Imitating Dynamics in Natural Sequences

Kuo-Hao Zeng, William Shen+3 more|arXiv (Cornell University)|Aug 19, 2017

Advanced Vision and Imaging参考文献 44被引用 6

一句话总结

该论文提出了一种通用的视觉预测框架，通过逆强化学习（IRL）直接模仿从原始像素数据中提取的自然视觉动态，利用深度特征重参数化与双重公式化方法，克服了高维状态-动作空间的挑战。该方法在无需手工设计特征或领域知识的前提下，在低、中、高层次抽象的未来帧生成、动作预测与视觉故事预测任务中均优于现有方法。

ABSTRACT

We introduce a general framework for visual forecasting, which directly imitates visual sequences without additional supervision. As a result, our model can be applied at several semantic levels and does not require any domain knowledge or handcrafted features. We achieve this by formulating visual forecasting as an inverse reinforcement learning (IRL) problem, and directly imitate the dynamics in natural sequences from their raw pixel values. The key challenge is the high-dimensional and continuous state-action space that prohibits the application of previous IRL algorithms. We address this computational bottleneck by extending recent progress in model-free imitation with trainable deep feature representations, which (1) bypasses the exhaustive state-action pair visits in dynamic programming by using a dual formulation and (2) avoids explicit state sampling at gradient computation using a deep feature reparametrization. This allows us to apply IRL at scale and directly imitate the dynamics in high-dimensional continuous visual sequences from the raw pixel values. We evaluate our approach at three different level-of-abstraction, from low level pixels to higher level semantics: future frame generation, action anticipation, visual story forecasting. At all levels, our approach outperforms existing methods.

研究动机与目标

• 开发一种适用于多种语义层次的通用视觉预测框架，无需依赖特定领域的知识或手工设计的特征。
• 解决传统IRL在视频序列的高维连续视觉状态-动作空间中计算不可行的问题。
• 通过直接从像素级数据学习模仿专家级动态的策略，实现长期视觉预测。
• 在涵盖低层次（像素）、中层次（运动）和高层次（语义）视觉理解的多样化任务中，证明该框架的有效性。

提出的方法

• 将视觉预测建模为逆强化学习（IRL）问题，将自然视频序列视为专家示范。
• 提出IRL的双重公式化方法，避免在动态规划中对所有状态-动作对进行穷举枚举。
• 采用深度特征重参数化，在梯度计算过程中避免显式的状态采样，从而实现在原始像素上的端到端训练。
• 通过策略梯度联合优化策略与深度特征表示，学习专用于预测任务的特征表示。
• 借鉴生成对抗模仿学习（GAIL）原理，结合可微分、可训练的特征编码器，实现视觉领域中可扩展的IRL。
• 在不同抽象层次的任务中统一应用该框架，涵盖从像素级帧预测到语义故事预测的各类任务。

实验结果

研究问题

• RQ1 是否可以通过直接模仿自然视觉动态，无需手工设计特征或领域特定知识，实现视觉预测？
• RQ2 如何将逆强化学习扩展至视频序列中高维连续的视觉状态-动作空间？
• RQ3 单一统一框架能否有效建模从像素级运动到语义故事演进的多层次抽象视觉动态？
• RQ4 在长期视觉预测任务中，直接模仿原始像素序列是否优于基于重建或外观匹配的基线方法？

主要发现

• 在VIST数据集上，该方法在短期与长期视觉故事预测任务中，均优于LSTM、深度回归网络与最近邻基线模型。
• 在长期预测任务中，当外观相似性失效时，该模型显著优于最近邻基线，展现出捕捉语义动态的能力。
• 定性结果表明，该模型能成功预测语义连贯的下一张图像，而依赖视觉外观或重建损失的基线模型在语义泛化方面常出现失败。
• 在moving MNIST数据集的未来帧生成任务中，该框架取得了最先进性能，证明其对低层次像素级动态的有效建模能力。
• 在THUMOS15与TV Human Interactions数据集的动作预测任务中，该方法通过学习运动级动态，超越了现有方法，且无需手工设计特征。
• 消融实验表明，双重公式化与深度特征重参数化对于将IRL扩展至高维视觉序列至关重要。