[论文解读] DVC: An End-to-end Deep Video Compression Framework

Guo Lu, Wanli Ouyang+4 more|arXiv (Cornell University)|Nov 30, 2018

Advanced Vision and Imaging参考文献 32被引用 6

一句话总结

该论文提出了DVC，这是首个端到端的深度视频压缩框架，通过神经网络联合优化运动估计、运动压缩和残差压缩。通过利用学习到的光流和基于自编码器的压缩方法，并采用统一的率失真损失函数，DVC在PSNR指标上优于H.264，在MS-SSIM指标上与H.265相当，同时使用更少的比特率。

ABSTRACT

Conventional video compression approaches use the predictive coding architecture and encode the corresponding motion information and residual information. In this paper, taking advantage of both classical architecture in the conventional video compression method and the powerful non-linear representation ability of neural networks, we propose the first end-to-end video compression deep model that jointly optimizes all the components for video compression. Specifically, learning based optical flow estimation is utilized to obtain the motion information and reconstruct the current frames. Then we employ two auto-encoder style neural networks to compress the corresponding motion and residual information. All the modules are jointly learned through a single loss function, in which they collaborate with each other by considering the trade-off between reducing the number of compression bits and improving quality of the decoded video. Experimental results show that the proposed approach can outperform the widely used video coding standard H.264 in terms of PSNR and be even on par with the latest standard H.265 in terms of MS-SSIM. Code is released at https://github.com/GuoLusjtu/DVC.

研究动机与目标

• 开发一种端到端的深度学习框架用于视频压缩，联合优化所有组件，以克服传统手工设计模块的局限性。
• 解决通过神经网络学习运动表示与压缩的方法，使其在视频压缩中达到最优，而不仅追求准确性。
• 将率失真优化整合到单一统一的损失函数中，应用于所有网络组件，以提升压缩效率。
• 通过提供模块化、可扩展的框架，弥合视频压缩、计算机视觉与深度学习之间的差距。

提出的方法

• 该框架使用深度神经网络估计光流以实现运动补偿，替代传统的基于块的运动估计方法。
• 两个基于自编码器的神经网络分别用于压缩运动向量和残差帧，学习紧凑的表示以降低比特率。
• 所有组件——运动估计、压缩、量化和比特率估计——均通过单一率失真损失函数进行端到端联合训练。
• 损失函数在失真（重建质量）和率（比特率）之间取得平衡，实现端到端优化以提升效率。
• 网络在运动补偿和压缩网络中采用带有预激活结构的残差块，以改善梯度流动并提升性能。
• 该框架支持将先进的光流模型和图像压缩模型作为插件模块集成，实现模块化扩展。

实验结果

研究问题

• RQ1 端到端的深度学习框架能否联合优化视频编码中的运动估计、运动压缩和残差压缩？
• RQ2 通过神经网络学习运动表示，而非使用手工设计的运动向量，是否能带来更高的压缩效率？
• RQ3 在所有组件中使用统一的率失真损失函数，是否能优于传统的模块化视频编码器（如H.264和H.265）？
• RQ4 在相同比特率下，所提出的DVC模型在PSNR和MS-SSIM指标上与H.264和H.265相比表现如何？

主要发现

• 在PSNR指标下，DVC相比H.264实现了19.22%的比特率降低，表现出更优的性能。
• 在MS-SSIM指标下，DVC相比H.264节省超过29%的比特率，该指标下优于H.265。
• 在HEVC Class C和D数据集上，DVC相比H.264分别将比特率降低3.88%和9.68%。
• 在Kinetics数据集上训练的模型性能优于H.264和先前工作的基线方法。
• DVC在MS-SSIM指标上与H.265性能相当，但使用更少的比特率，表明其具有更高的率失真效率。
• 与H.264相比，DVC在PSNR下的BD-RA（BDBR）为19.22%，在MS-SSIM下的BD-RA为29.32%，证实了其在压缩方面的优势。