[论文解读] Frequency Domain Transformer Networks for Video Prediction

Hafez Farazi, Sven Behnke|arXiv (Cornell University)|Mar 1, 2019

Advanced Vision and Imaging参考文献 27被引用 4

一句话总结

该论文提出频率域变换器网络（FDTN），一种端到端可学习架构，通过在频域中利用相位差估计时间变换，实现更准确、更稳定的长期视频预测。FDTN在Moving MNIST和Bouncing Ball数据集上优于Conv-PGP和VLN等基线模型，预测损失更低，参数更少。

ABSTRACT

The task of video prediction is forecasting the next frames given some previous frames. Despite much recent progress, this task is still challenging mainly due to high nonlinearity in the spatial domain. To address this issue, we propose a novel architecture, Frequency Domain Transformer Network (FDTN), which is an end-to-end learnable model that estimates and uses the transformations of the signal in the frequency domain. Experimental evaluations show that this approach can outperform some widely used video prediction methods like Video Ladder Network (VLN) and Predictive Gated Pyramids (PGP).

研究动机与目标

• 通过利用频域表示，解决空间域视频预测中的高非线性问题。
• 通过在傅里叶域中利用相位差建模运动变换，提升长期视频预测的准确性。
• 设计一种端到端可训练架构，显式估计并应用频域中的时间变换。
• 在合成视频预测基准上超越现有方法（如VLN和Conv-PGP）。

提出的方法

• 该模型对输入帧计算快速傅里叶变换（FFT），将它们表示为频域形式。
• 将连续帧之间的变换估计为它们复数频域表示的逐元素相位差。
• 一个可学习的“变换模型”处理相位差表示，通过使用ReLU/ sigmoid激活函数的全连接层或卷积层来预测运动变化。
• 通过在频域中进行相位旋转，将预测的变换应用于生成下一帧的频域表示。
• 一个包含三个ReLU激活卷积层的“精炼模型”在空间域中重建高频细节。
• 该架构采用softmax加权融合多个变换表示（包括翻转版本），以处理边界效应并提高鲁棒性。

实验结果

研究问题

• RQ1 与空间域方法相比，在频域中建模运动变换是否能提升长期视频预测性能？
• RQ2 在傅里叶域中利用相位差估计与传统的双线性或门控自编码器基变换建模相比有何优势？
• RQ3 可学习的频域变换模型在不同合成视频动态（如移动数字和弹跳小球）上能多大程度上实现泛化？
• RQ4 专用的“精炼模型”是否能减少重建模糊并提升预测帧的感知质量？
• RQ5 架构选择（全连接与卷积的“变换模型”）如何影响性能与参数效率？

主要发现

• FDTN(Conv)在Moving MNIST数据集上实现了0.00316的均方预测损失，优于Conv-PGP（0.06963）和VLN-ResNet（0.00544）。
• FDTN(FC)在Moving MNIST上损失为0.00285，在Bouncing Ball上为0.00086，显著优于Conv-PGP和VLN-ResNet。
• 尽管参数量仅为160K，FDTN(FC)变体仍实现了最佳性能，远低于VLN-ResNet的130万参数。
• 移除“精炼模型”导致预测结果模糊，证明其在保持高频细节方面具有关键作用。
• 移除“变换模型”导致无法建模运动的动态变化，证实其对准确变换预测的必要性。
• 该模型在更长序列上表现出良好泛化能力，在超过10帧训练范围的序列中仍保持性能，而基线模型则不然。