[论文解读] Detail-revealing Deep Video Super-resolution

Xin Tao, Hongyun Gao+3 more|arXiv (Cornell University)|Apr 10, 2017

Advanced Image Processing Techniques参考文献 24被引用 35

一句话总结

本文提出了一种在端到端、可扩展的CNN框架中嵌入子像素运动补偿（SPMC）层的视频超分辨率方法，实现了多帧间精确的运动对齐与有效的细节融合。该方法在Set5、Set14和SPMCS等基准数据集上无需参数调优即取得最优的定量指标与视觉质量表现，优于以往所有方法。

ABSTRACT

Previous CNN-based video super-resolution approaches need to align multiple frames to the reference. In this paper, we show that proper frame alignment and motion compensation is crucial for achieving high quality results. We accordingly propose a `sub-pixel motion compensation' (SPMC) layer in a CNN framework. Analysis and experiments show the suitability of this layer in video SR. The final end-to-end, scalable CNN framework effectively incorporates the SPMC layer and fuses multiple frames to reveal image details. Our implementation can generate visually and quantitatively high-quality results, superior to current state-of-the-arts, without the need of parameter tuning.

研究动机与目标

• 为解决视频超分辨率中帧间运动对齐的准确性挑战，这对保留和重建精细图像细节至关重要。
• 开发一种可扩展的深度学习框架，支持任意缩放因子与可变数量的输入帧，且无需重新训练。
• 通过确保运动对齐的特征被有效结合，实现真实高分辨率内容的恢复，而非伪影。
• 消除以往方法中常见的针对特定场景的参数调优需求，实现在多样化输入下的一致性表现。
• 验证多帧对齐与融合相比单图超分辨率能取得更优结果，尤其在纹理与结构细节方面。

提出的方法

• 提出一种可微分的子像素运动补偿（SPMC）层，通过亚像素精度的反向映射实现低分辨率帧到参考帧的精确对齐。
• 将SPMC层集成到基于ConvLSTM的端到端CNN框架中，融合多帧对齐后的特征以生成高分辨率输出。
• 采用残差学习结构与跳跃连接，以稳定训练并改善帧间特征传播。
• 基于预测的光流场实现可微分的变形操作，使反向传播能够穿过运动补偿步骤。
• 设计网络为全可扩展：SPMC层无可学习参数，支持任意缩放因子；ConvLSTM支持推理阶段可变的输入帧数量。
• 采用基于像素重建误差的光度损失，实现网络的端到端优化。

实验结果

研究问题

• RQ1 与标准帧对齐方法相比，子像素运动补偿是否能显著提升视频超分辨率性能？
• RQ2 采用可微分SPMC层的端到端训练是否优于分离的运动估计与重建流水线？
• RQ3 可扩展的CNN框架是否能在不重新训练的前提下，保持在不同缩放因子与输入帧数下的高性能？
• RQ4 多帧特征在恢复真实高频细节方面贡献程度如何，而非产生幻觉纹理？
• RQ5 在PSNR、SSIM与视觉保真度方面，该方法与当前最先进的单图与视频超分辨率模型相比表现如何？

主要发现

• 在SPMCS数据集上，该方法在×4缩放下达到31.92 dB的PSNR与0.90的SSIM，优于所有先前的最先进方法。
• 在SPMCS ×4下使用3帧输入（F3）时，PSNR达31.92 dB，SSIM达0.90，显著优于单图SR方法如VDSR（28.80 dB PSNR）与SRCNN（28.29 dB PSNR）。
• 在Vid4基准测试中，该方法在×3下达到27.49 dB PSNR与0.84 SSIM，优于VESPCN（27.25 dB）与VSRNet（25.31 dB）。
• F7-×4模型处理7帧180×120大小的图像仅需0.26秒，远快于以往方法如Liu et al.（2小时）与Ma et al.（10分钟）。
• 视觉结果表明，该方法能忠实恢复文本与建筑纹理等精细细节，而单图SR与双三次插值则会丢失这些信息。
• 消融实验确认SPMC层与细节融合机制对高质量结果至关重要，当任一组件被移除时性能显著下降。