[论文解读] Learning to Linearize Under Uncertainty

Ross Goroshin, Michaël Mathieu+1 more|arXiv (Cornell University)|Jun 9, 2015

Generative Adversarial Networks and Image Synthesis参考文献 16被引用 34

一句话总结

本文提出一种深度学习框架，通过在潜在变量中建模不确定性，训练视频自编码器以线性化自然视频中的时间动态。通过在学习到的代码空间中进行线性插值来预测未来帧，该方法实现了更清晰、更逼真的预测结果，并将可预测运动与不可预测的波动分离开来，在重建质量和表征学习方面优于确定性基线模型。

ABSTRACT

Training deep feature hierarchies to solve supervised learning tasks has achieved state of the art performance on many problems in computer vision. However, a principled way in which to train such hierarchies in the unsupervised setting has remained elusive. In this work we suggest a new architecture and loss for training deep feature hierarchies that linearize the transformations observed in unlabeled natural video sequences. This is done by training a generative model to predict video frames. We also address the problem of inherent uncertainty in prediction by introducing latent variables that are non-deterministic functions of the input into the network architecture.

研究动机与目标

• 开发一种基于原理的无监督方法，从未标注的自然视频序列中学习局部线性化的特征表征。
• 解决由确定性模型对多个可能未来进行平均而引起的模糊帧预测问题。
• 通过引入依赖于输入的非确定性潜在变量，对视频数据中的固有不确定性进行建模。
• 通过可学习的预测头和曲率正则化，强制在潜在空间中实现时间轨迹的线性化。
• 实现解耦且可解释的表征，其中运动呈线性，内容保持稳定。

提出的方法

• 该模型使用孪生编码器为每帧视频生成固定大小的代码，从而实现在代码空间中的比较与插值。
• 解码器中的线性预测层通过在潜在代码空间中线性外推来生成未来帧的预测。
• 引入随机潜在变量作为输入帧的非确定性函数，以建模视频中不可预测的方面，从而减少模糊性。
• 损失函数结合L2重建误差与曲率正则化，以最小化潜在轨迹中的局部非线性。
• 在编码器中应用相位池化，在解码器中应用去池化，以保持空间拓扑结构并提升泛化能力。
• 通过反向传播端到端训练模型，预测目标作为表征学习的代理目标。

实验结果

研究问题

• RQ1 我们能否在无需显式监督的情况下，从未标记的视频中学习到局部线性化的表征？
• RQ2 我们如何对自然视频序列中的不确定性进行建模，以避免产生模糊且平均化的预测？
• RQ3 在潜在代码空间中进行线性插值能否生成真实且清晰的视频帧预测？
• RQ4 引入随机潜在变量是否能提升学习表征的质量与解耦性？
• RQ5 潜在空间中的曲率正则化是否能强制实现更稳定且可预测的时间动态？

主要发现

• 采用相位池化与曲率正则化的架构在所有变体中实现了最低的L2预测误差，表明其具有更优的重建性能。
• 在代码空间中进行线性插值生成了视觉上连贯且逼真的视频帧，证明了模型在时间维度上的泛化能力。
• 引入随机潜在变量的模型（公式7）生成的插值比确定性基线（公式1）更清晰，有效减少了因平均化导致的模糊。
• 在潜在不确定性变量δ上训练的线性预测器在判断某帧是否被跳过时达到了94%的准确率，证实δ捕捉到了有意义的不确定性。
• 移除线性预测层而仅依赖解码器会导致性能下降，表明潜在空间中显式线性化的重要性。
• 相位池化的使用将代码维度从4096降低至192，同时保持或提升了重建质量，表明实现了高效的表征学习。