[论文解读] Exploring Spatial-Temporal Multi-Frequency Analysis for High-Fidelity and Temporal-Consistency Video Prediction

Beibei Jin, Yu Hu+5 more|arXiv (Cornell University)|Feb 23, 2020

Advanced Image Processing Techniques参考文献 51被引用 7

一句话总结

该论文提出STMFANet，一种通过多级离散小波变换实现时空多频分析的视频预测模型，以提升高保真度与时间一致性。通过将帧和序列分解为多尺度频带，模型保留了精细细节并捕捉多频运动，在KTH、BAIR和CalTech数据集上实现了SOTA性能，PSNR、SSIM和LPIPS指标均得到提升。

ABSTRACT

Video prediction is a pixel-wise dense prediction task to infer future frames based on past frames. Missing appearance details and motion blur are still two major problems for current predictive models, which lead to image distortion and temporal inconsistency. In this paper, we point out the necessity of exploring multi-frequency analysis to deal with the two problems. Inspired by the frequency band decomposition characteristic of Human Vision System (HVS), we propose a video prediction network based on multi-level wavelet analysis to deal with spatial and temporal information in a unified manner. Specifically, the multi-level spatial discrete wavelet transform decomposes each video frame into anisotropic sub-bands with multiple frequencies, helping to enrich structural information and reserve fine details. On the other hand, multi-level temporal discrete wavelet transform which operates on time axis decomposes the frame sequence into sub-band groups of different frequencies to accurately capture multi-frequency motions under a fixed frame rate. Extensive experiments on diverse datasets demonstrate that our model shows significant improvements on fidelity and temporal consistency over state-of-the-art works.

研究动机与目标

• 解决现有视频预测模型中长期缺失高频细节与时间不一致的挑战。
• 克服现有模型因下采样导致细粒度细节丢失、难以捕捉多时间尺度运动动态的局限。
• 借鉴人类视觉系统对频率带的分解机制，设计统一的时空多频分析框架。
• 通过基于小波的结构化特征分解，提升长期视频预测的保真度与运动一致性。
• 在包含KTH、BAIR和CalTech行人数据集的多样化数据集上展示泛化能力，且参数开销极低。

提出的方法

• 对每帧视频应用多级空间离散小波变换（DWT-S），在多个频率上分解为各向异性的子带，以保留结构与细粒度细节。
• 引入空间小波分析模块（S-WAM）处理空间子带，增强高保真重建的特征表示。
• 沿时间轴应用多级时间离散小波变换（DWT-T），将视频序列分解为不同运动频率的子带组。
• 设计时间小波分析模块（T-WAM）以建模多频运动动态，提升时间一致性。
• 将S-WAM与T-WAM集成至生成对抗网络（GAN）框架中，生成逼真且高保真的未来帧。
• 利用小波基分解避免空洞卷积的网格效应，减少对下采样的依赖，从而保留小物体细节。

实验结果

研究问题

• RQ1 通过小波变换实现多频分析，能否通过保留下采样中丢失的高频细节，提升视频预测的保真度？
• RQ2 时间小波分解能否通过捕捉视频序列中的多时间尺度动态，增强运动建模能力？
• RQ3 将空间与时间小波分析相结合，是否能相比标准RNN或CNN模型实现更优的时间一致性预测？
• RQ4 所提方法在运动复杂度与物体动态各异的多样化数据集上，其泛化能力达到何种程度？
• RQ5 S-WAM与T-WAM两个组件对整体性能的贡献如何？其对预测质量的相对影响是什么？

主要发现

• 在KTH数据集上，所提模型实现PSNR为29.1、SSIM为0.927、LPIPS为5.89，优于SAVP与VarNet，在保真度与时间一致性方面表现更优。
• 在CalTech行人数据集上，经KITTI预训练后，模型实现PSNR为29.1、SSIM为0.927，展现出强大的泛化能力。
• 消融实验表明，移除T-WAM导致性能下降最显著（PSNR降至28.1），表明其在建模多频运动中的关键作用。
• 同时包含S-WAM与T-WAM的模型取得最优LPIPS（5.89），表明其在感知质量上优于各类消融变体。
• 模型以760万参数（7.6M）实现SOTA性能，优于ContextVP（860万参数）与DVF（890万参数），体现高参数效率。
• 失败案例显示，即使采用小波基瞬态特征提取，突发或高度随机的运动（如机械臂运动）仍具挑战性。