[论文解读] FAST: Free Adaptive Super-Resolution via Transfer for Compressed Videos.

Zhengdong Zhang, Vivienne Sze|arXiv (Cornell University)|Mar 29, 2016

Advanced Image Processing Techniques参考文献 27被引用 8

一句话总结

FAST 通过利用视频流中已存在的运动矢量和残差数据，自适应地将高质量的超分结果从一帧传递到相邻帧，从而加速压缩视频的超分辨率处理。该方法实现了高达 10 倍的加速，仅损失 0.2 dB 的质量，使在大尺寸显示器上实现实时超分辨率成为可能。

ABSTRACT

High resolution displays are increasingly popular, requiring most of the existing video content to be adapted to higher resolution. State-of-the-art super-resolution algorithms mainly address the visual quality of the output instead of real-time throughput. This paper introduces FAST, a framework to accelerate any image based super-resolution algorithm running on compressed videos. FAST leverages the similarity between adjacent frames in a video. Given the output of a super-resolution algorithm on one frame, the technique adaptively transfers it to the adjacent frames and skips running the super-resolution algorithm. The transferring process has negligible computation cost because the required information, including motion vectors, block size, and prediction residual, are embedded in the compressed video for free. In this work, we show that FAST accelerates state-of-the-art super-resolution algorithms by up to an order of magnitude with acceptable quality loss of up to 0.2 dB. Thus, we believe that the FAST framework is an important step towards enabling real-time super-resolution algorithms that upsample streamed videos for large displays.

研究动机与目标

• 解决现有最先进超分辨率算法在应用于压缩视频流时缺乏实时性能的问题。
• 在不牺牲视觉质量的前提下，降低超分辨率处理的计算开销。
• 利用现有压缩视频数据（如运动矢量和预测残差）实现高效的帧间结果传递。
• 利用现有视频编码标准，实现可扩展的、实时的高分辨率显示器超分辨率处理。
• 证明通过传递实现的帧复用可显著加速超分辨率处理，同时保持可接受的主观视觉质量。

提出的方法

• 该框架识别压缩视频比特流中已嵌入的关键信息——运动矢量、块大小和预测残差。
• 复用参考帧的超分辨率输出，并利用运动补偿技术将其传递到相邻帧。
• 传递过程是自适应的，基于运动复杂度和残差能量，以最小化质量下降。
• 通过依赖先前结果的运动补偿复用，避免在大多数帧上运行完整的超分辨率算法。
• 动态调整传递策略，以在速度与质量之间取得平衡，确保视觉伪影最少。
• 该方法兼容任何现有的基于图像的超分辨率模型，无需重新训练或修改。

实验结果

研究问题

• RQ1 通过运动补偿传递实现的帧复用是否能显著加速压缩视频流中的超分辨率处理？
• RQ2 在不重新编码的前提下，利用现有压缩视频数据可实现的最大加速比是多少？
• RQ3 在帧间传递超分辨率结果时，质量损失有多大？
• RQ4 该传递方法是否能在高分辨率显示器上实现实时性能的同时保持主观视觉质量？
• RQ5 哪些因素决定了计算节省与视觉保真度之间的最优权衡？

主要发现

• FAST 通过帧间复用结果，使压缩视频的超分辨率处理最高实现 10 倍加速。
• 帧传递引入的质量损失极小，峰值信噪比（PSNR）最多下降 0.2 dB，被认为在实时应用中可接受。
• 该方法计算开销可忽略不计，充分利用了压缩比特流中已存在的运动矢量和残差数据。
• 该框架兼容任何现有的基于图像的超分辨率模型，具有广泛的适用性。
• 传递过程是自适应的，根据运动复杂度和残差能量动态调整，以保持视觉质量。
• 该方法实现了高分辨率显示器的实时超分辨率，解决了视频缩放中的关键性能瓶颈。