[论文解读] Keyframing the Future: Keyframe Discovery for Visual Prediction and Planning

Karl Pertsch, Oleh Rybkin+6 more|arXiv (Cornell University)|Apr 11, 2019

Artificial Intelligence in Games参考文献 34被引用 5

一句话总结

本文提出 KeyIn，一种可微分的分层模型，能够从视频序列中发现具有信息量的关键帧，并通过图像修复技术重建完整序列。通过联合学习关键帧选择与帧生成，KeyIn 实现了高效的长时程视觉规划，在机器人推动物体和第一视角网格世界等复杂动态数据集上优于先前方法。

ABSTRACT

Temporal observations such as videos contain essential information about the dynamics of the underlying scene, but they are often interleaved with inessential, predictable details. One way of dealing with this problem is by focusing on the most informative moments in a sequence. We propose a model that learns to discover these important events and the times when they occur and uses them to represent the full sequence. We do so using a hierarchical Keyframe-Inpainter (KeyIn) model that first generates a video's keyframes and then inpaints the rest by generating the frames at the intervening times. We propose a fully differentiable formulation to efficiently learn this procedure. We show that KeyIn finds informative keyframes in several datasets with different dynamics and visual properties. KeyIn outperforms other recent hierarchical predictive models for planning. For more details, please see the project website at \url{https://sites.google.com/view/keyin}.

研究动机与目标

• 为解决逐帧视频预测的低效性，通过识别时间上稀疏且具有信息量的关键帧来捕捉视频序列的本质动态。
• 通过将关键帧用作子目标，实现分层视觉规划，从而在长时程控制任务中降低计算成本。
• 开发一个完全可微分的框架，联合优化关键帧发现与序列重建。
• 在噪声干扰和多样化视觉动态（包括复杂机器人操作）下，验证模型的鲁棒性与泛化能力。
• 在长时程任务的规划性能上，超越现有的分层与非分层预测模型。

提出的方法

• KeyIn 采用分层架构，包含关键帧编码器和视频修复模块，后者可基于选定的关键帧重建完整序列。
• 模型采用软可微分目标进行端到端训练，支持基于梯度的时间位置优化。
• 关键帧选择被建模为对候选帧的可微分软注意力机制，从而实现通过离散决策的梯度传播。
• 修复头基于预测的关键帧生成中间帧，采用基于 Transformer 或卷积的架构。
• 联合训练目标在最小化重建损失（PSNR/SSIM）的同时，鼓励关键帧在时间上稀疏但具有信息量。
• 分层规划算法将预测的关键帧作为子目标，指导长时程任务中的低层控制器。

实验结果

研究问题

• RQ1 可微分模型能否发现时间上稀疏且具有信息量的关键帧，以捕捉视频序列的本质动态？
• RQ2 与逐帧或固定间隔预测相比，基于关键帧的预测是否能提升长时程视觉规划性能？
• RQ3 关键帧发现对不同数据集中的噪声和动态变化的鲁棒性如何？
• RQ4 该模型能否泛化到复杂的真实世界动态，如机器人推动物体和第一视角导航？
• RQ5 KeyIn 学习到的分层结构是否相比非分层基线模型带来更高效、更准确的规划？

主要发现

• 在机器人推动物体环境中，KeyIn 在长时程视觉规划任务中达到最先进性能，优于所有分层与非分层基线模型。
• 在 Pushing 数据集上，KeyIn 在高斯噪声下 F1 得分为 0.25，关键帧与真实值的时间距离在 1.34 帧以内，表明其检测具有鲁棒性。
• 在 Gridworld 数据集上，KeyIn 在噪声下 F1 得分为 0.43，关键帧对齐误差在 0.96 帧以内，接近真实值。
• KeyIn 在视频预测指标上与先前模型持平或更优：在 Pushing 数据集上 PSNR 为 33.4，SSIM 为 0.959。
• 关键帧质量显著优于固定间隔方法：在 Pushing 数据集上，KeyIn 的 PSNR 为 29.5，SSIM 为 0.911，而固定间隔方法分别为 28.25 和 0.904。
• 定性结果表明，KeyIn 正确识别了运动方向的变化并重建了复杂动态，而固定偏移方法无法捕捉此类过渡。