[论文解读] Deep Predictive Video Compression with Bi-directional Prediction

Woonsung Park, Munchurl Kim|arXiv (Cornell University)|Apr 5, 2019

Advanced Image Processing Techniques参考文献 3被引用 6

一句话总结

该论文提出BP-DVC Net，一种基于深度学习的视频压缩框架，将双向预测编码与光流估计及双向预测网络相结合，无需传输运动矢量。通过利用学习得到的光流和特征图中的时序上下文，该方法在PSNR和MS-SSIM指标上实现了与H.264和HEVC相当的编码效率，采用光流损失和预测损失进行端到端训练。

ABSTRACT

Recently, deep image compression has shown a big progress in terms of coding efficiency and image quality improvement. However, relatively less attention has been put on video compression using deep learning networks. In the paper, we first propose a deep learning based bi-predictive coding network, called BP-DVC Net, for video compression. Learned from the lesson of the conventional video coding, a B-frame coding structure is incorporated in our BP-DVC Net. While the bi-predictive coding in the conventional video codecs requires to transmit to decoder sides the motion vectors for block motion and the residues from prediction, our BP-DVC Net incorporates optical flow estimation networks in both encoder and decoder sides so as not to transmit the motion information to the decoder sides for coding efficiency improvement. Also, a bi-prediction network in the BP-DVC Net is proposed and used to precisely predict the current frame and to yield the resulting residues as small as possible. Furthermore, our BP-DVC Net allows for the compressive feature maps to be entropy-coded using the temporal context among the feature maps of adjacent frames. The BP-DVC Net has an end-to-end video compression architecture with newly designed flow and prediction losses. Experimental results show that the compression performance of our proposed method is comparable to those of H.264, HEVC in terms of PSNR and MS-SSIM.

研究动机与目标

• 解决深度学习视频压缩相较于图像压缩进展缓慢的问题。
• 克服传统视频编码器中传输运动矢量和残差的低效问题。
• 开发一种可端到端训练的视频压缩神经网络，充分利用时序上下文和光流信息。
• 通过学习得到的双向预测机制最小化残差误差，提升编码效率。
• 利用相邻帧之间的时序依赖关系对压缩特征图进行熵编码。

提出的方法

• 在深度神经网络中集成B帧编码结构，实现双向预测视频压缩。
• 在编码器和解码器端均部署光流估计网络，以消除运动矢量的传输需求。
• 设计一种双向预测网络，融合前向和后向预测结果，生成高精度的帧重建。
• 利用相邻帧的特征图作为上下文信息，用于熵编码，以提升压缩效率。
• 采用专用的光流损失和预测损失函数，对网络进行端到端训练，以优化重建质量并最小化残差。
• 利用相邻帧的时序上下文信息对压缩特征图进行熵编码，以降低比特率。

实验结果

研究问题

• RQ1 基于深度学习的视频压缩框架是否能在不传输运动矢量的情况下，实现与H.264和HEVC相当的编码效率？
• RQ2 光流估计在端到端视频压缩中替代传统运动矢量信令的效率如何？
• RQ3 通过学习得到的融合机制实现的双向预测，在多大程度上提升了残差压缩效率和重建质量？
• RQ4 特征图中的时序上下文是否能增强深度视频压缩中的熵编码性能？
• RQ5 联合优化光流损失和预测损失对整体压缩性能有何影响？

主要发现

• BP-DVC Net在标准视频序列上实现了与H.264和HEVC相当的PSNR和MS-SSIM性能。
• 通过学习得到的光流实现运动矢量的消除，显著降低了传输开销，提升了编码效率。
• 双向预测网络显著降低了残差能量，从而在相同质量下实现了更低的比特率。
• 利用相邻特征图的时序上下文进行熵编码，有效提升了压缩效率。
• 采用光流损失和预测损失的端到端训练，实现了运动估计与重建的高效联合优化。
• 该方法在多种不同视频内容上表现出强泛化能力，且无需显式传输运动矢量。