[论文解读] Improving Deep Video Compression by Resolution-adaptive Flow Coding

Zhihao Hu, Zhenghao Chen+4 more|arXiv (Cornell University)|Sep 13, 2020

Advanced Vision and Imaging参考文献 32被引用 5

一句话总结

本文提出分辨率自适应流编码（RaFC），一种新颖的深度视频压缩框架，通过率失真优化方法在帧级（RaFC-frame）和块级（RaFC-block）自适应选择光学流图的最优分辨率表示。通过根据运动复杂度动态选择高分辨率或低分辨率的流图与运动特征，RaFC 实现了最先进性能，在保持高重建质量的同时，相比基线 DVC 方法将运动编码比特数减少高达 70%。

ABSTRACT

In the learning based video compression approaches, it is an essential issue to compress pixel-level optical flow maps by developing new motion vector (MV) encoders. In this work, we propose a new framework called Resolution-adaptive Flow Coding (RaFC) to effectively compress the flow maps globally and locally, in which we use multi-resolution representations instead of single-resolution representations for both the input flow maps and the output motion features of the MV encoder. To handle complex or simple motion patterns globally, our frame-level scheme RaFC-frame automatically decides the optimal flow map resolution for each video frame. To cope different types of motion patterns locally, our block-level scheme called RaFC-block can also select the optimal resolution for each local block of motion features. In addition, the rate-distortion criterion is applied to both RaFC-frame and RaFC-block and select the optimal motion coding mode for effective flow coding. Comprehensive experiments on four benchmark datasets HEVC, VTL, UVG and MCL-JCV clearly demonstrate the effectiveness of our overall RaFC framework after combing RaFC-frame and RaFC-block for video compression.

研究动机与目标

• 为解决深度视频压缩中单分辨率流表示的局限性，该方法无法根据帧间运动复杂度的变化进行自适应调整。
• 通过为全局（帧级）和局部（块级）运动特征实现动态分辨率选择，提升运动信息压缩效率。
• 通过自动选择每帧或每块最高效的分辨率，优化运动编码中的率失真权衡。
• 与现有的基于深度学习的方法（如 DVC、H.264 和 H.265）相比，实现更优的视频压缩性能。

提出的方法

• 提出 RaFC-frame，一种帧级方案，基于运动复杂度和率失真（RD）准则，为整个流图选择最优分辨率。
• 引入 RaFC-block，一种块级方案，为每个局部块的运动特征独立选择分辨率，以匹配局部运动模式。
• 采用多分辨率表示方法，对输入光学流图和输出运动特征进行表示，以支持分辨率自适应。
• 使用率失真优化框架，在帧级和块级确定最佳分辨率选择，以最小化比特成本并保持质量。
• 将 RaFC-frame 与 RaFC-block 整合为统一的 RaFC 框架，联合优化整个视频序列中的分辨率选择。
• 将 RD 优化的分辨率选择应用于运动矢量编码和残差编码，提升整体压缩效率。

实验结果

研究问题

• RQ1 多分辨率流表示能否提升深度视频压缩中的运动编码效率？
• RQ2 基于全局运动复杂度的帧级分辨率自适应是否能带来更好的率失真性能？
• RQ3 基于局部运动模式的块级分辨率选择能否进一步提升压缩效率？
• RQ4 帧级与块级分辨率自适应的结合与单分辨率基线相比表现如何？
• RQ5 分辨率自适应在不牺牲视觉质量的前提下，能在多大程度上减少运动编码比特使用？

主要发现

• 整体 RaFC 框架在四个基准数据集（HEVC Class E、VTL、UVG 和 MCL-JCV）上均优于 H.264、H.265 和基线 DVC 方法。
• 在相同 PSNR 条件下，RaFC 相比基线 DVC 方法将运动编码比特数减少高达 70%，显著提升了运动压缩效率。
• 在低比特率（低 λ）下，该方法倾向于选择低分辨率流图和大块，与传统压缩策略中为节省比特而采用的策略一致。
• 在高比特率（高 λ）下，该方法逐渐选择高分辨率流图和更小的块，表明在比特资源充足时会自适应启用更高细节。
• 可视化结果证实，高运动区域（如物体边界）优先选择小块，而平滑区域则使用大块，与运动复杂度分布一致。
• 与 DVC 相比，RaFC 中用于运动编码的比特比例显著下降——例如在 λ=256 时，从 61.11% 降至 38.89%，证明了运动比特成本的降低。