[论文解读] Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation

José Caballero, Christian Ledig+5 more|arXiv (Cornell University)|Nov 16, 2016

Advanced Image Processing Techniques参考文献 31被引用 11

一句话总结

本文提出一种基于时空子像素卷积网络与多分辨率空间变换器端到端可训练运动补偿的实时视频超分方法。通过融合早期融合、慢速融合与3D卷积并联合运动补偿，该方法在保持计算成本相近的情况下，相比先前方法实现了更高的精度与更优的时间一致性，计算成本降低30%，或在相似成本下提升PSNR 0.2dB。

ABSTRACT

Convolutional neural networks have enabled accurate image super-resolution in real-time. However, recent attempts to benefit from temporal correlations in video super-resolution have been limited to naive or inefficient architectures. In this paper, we introduce spatio-temporal sub-pixel convolution networks that effectively exploit temporal redundancies and improve reconstruction accuracy while maintaining real-time speed. Specifically, we discuss the use of early fusion, slow fusion and 3D convolutions for the joint processing of multiple consecutive video frames. We also propose a novel joint motion compensation and video super-resolution algorithm that is orders of magnitude more efficient than competing methods, relying on a fast multi-resolution spatial transformer module that is end-to-end trainable. These contributions provide both higher accuracy and temporally more consistent videos, which we confirm qualitatively and quantitatively. Relative to single-frame models, spatio-temporal networks can either reduce the computational cost by 30% whilst maintaining the same quality or provide a 0.2dB gain for a similar computational cost. Results on publicly available datasets demonstrate that the proposed algorithms surpass current state-of-the-art performance in both accuracy and efficiency.

研究动机与目标

• 解决在利用帧间时间相关性的同时实现实时视频超分的挑战。
• 克服以往依赖朴素或独立运动补偿方法在效率与性能上的局限性。
• 构建一个联合学习框架，将运动补偿与超分联合优化，以提升重建质量与时间一致性。
• 相比单帧或非优化的时空模型，实现更高的精度与更低的计算成本。
• 在公共数据集上实现SOTA性能，指标包括PSNR、SSIM与MOVIE指数，并具备实时推理能力。

提出的方法

• 采用时空子像素卷积网络（VESPCN）处理连续多帧，通过早期融合、慢速融合或3D卷积利用时间冗余。
• 提出一种新型联合运动补偿机制，采用多分辨率空间变换器模块，支持端到端可训练，显著快于基于光流的预处理。
• 在超分前利用空间变换器估计并校正帧间运动，提升特征对齐与重建保真度。
• 使用子像素卷积直接从低分辨率空间学习上采样操作，相比双三次插值降低计算成本。
• 实现三种网络架构——早期融合、慢速融合与3D卷积，每种均针对时间建模与计算效率进行优化。
• 端到端训练整个流程，包括运动估计与超分，联合优化空间细节与时间一致性。

实验结果

研究问题

• RQ1 具有联合运动补偿的时空网络能否在精度上超越单帧模型，实现实时视频超分？
• RQ2 在重建质量与计算效率方面，不同融合策略（早期、慢速、3D）有何差异？
• RQ3 与外部光流或无运动补偿相比，端到端可训练运动补偿在时间一致性与PSNR方面提升程度如何？
• RQ4 所提方法能否在保持与单帧模型相同PSNR的前提下，将计算成本降低30%？
• RQ5 在视频超分中，运动与超分的联合学习是否优于顺序或独立处理？

主要发现

• 所提VESPCN方法在Vid4数据集上达到32.52 dB的PSNR，优于SRCNN、ESPCN与VSRnet在PSNR与SSIM上的表现。
• 采用9L-E3-MC架构时，相比单帧ESPCN，计算量降低30%且PSNR保持不变，或在相近成本下提升0.2 dB PSNR。
• 通过空间变换器实现的运动补偿显著降低MOVIE指数，表明相比无补偿模型具有更优的时间一致性。
• 运动补偿模块在×3与×4上分别仅增加3.6与2.0 GOps，相比VSRnet的运动补偿（每帧55秒）快约1000倍。
• 视觉结果表明，VESPCN能更好保留帧间精细结构与纹理，减少闪烁并提升运动连贯性。
• 方法实现实时推理，ESPCN ×4每帧仅需29 ms，运动补偿版本在HD视频上保持亚100 ms性能。