[论文解读] Deep Learned Frame Prediction for Video Compression

Serkan Sulun|arXiv (Cornell University)|Jan 1, 2018

Advanced Image Processing Techniques参考文献 26被引用 3

一句话总结

本文提出了一种基于深度神经网络（DNN）的视频压缩帧预测方法，通过均方误差（MSE）和对抗性损失进行训练，以提升预测准确性和视觉真实感。结果表明，MSE训练在视频压缩的率失真性能上优于对抗性训练，而对抗性训练则能生成更清晰、更逼真的帧用于独立预测。

ABSTRACT

Motion compensation is one of the most essential methods for any video compression algorithm. Video frame prediction is a task analogous to motion compensation. In recent years, the task of frame prediction is undertaken by deep neural networks (DNNs). In this thesis we create a DNN to perform learned frame prediction and additionally implement a codec that contains our DNN. We train our network using two methods for two different goals. Firstly we train our network based on mean square error (MSE) only, aiming to obtain highest PSNR values at frame prediction and video compression. Secondly we use adversarial training to produce visually more realistic frame predictions. For frame prediction, we compare our method with the baseline methods of frame difference and 16x16 block motion compensation. For video compression we further include x264 video codec in the comparison. We show that in frame prediction, adversarial training produces frames that look sharper and more realistic, compared MSE based training, but in video compression it consistently performs worse. This proves that even though adversarial training is useful for generating video frames that are more pleasing to the human eye, they should not be employed for video compression. Moreover, our network trained with MSE produces accurate frame predictions, and in quantitative results, for both tasks, it produces comparable results in all videos and outperforms other methods on average. More specifically, learned frame prediction outperforms other methods in terms of rate-distortion performance in case of high motion video, while the rate-distortion performance of our method is competitive with that of x264 in low motion video.

研究动机与目标

• 开发一种基于深度学习的帧预测模型用于视频压缩，以超越传统的运动补偿方法。
• 评估均方误差（MSE）与对抗性训练对帧预测质量及视频压缩效率的影响。
• 将学习到的帧预测网络集成到完整的视频编解码器中，并与x264及基线方法进行性能比较。
• 确定视觉上更优越的对抗性预测是否对实际视频压缩有益。
• 分析高运动与低运动视频序列中的率失真性能。

提出的方法

• 设计一种类似U-Net的生成器网络，通过跳跃连接从先前帧预测未来帧。
• 实现PatchGAN判别器以区分真实帧与生成帧，支持对抗性训练。
• 使用MSE损失进行定量准确性训练，同时使用对抗性损失提升感知真实感。
• 将训练好的帧预测网络集成到视频压缩编解码器中，该编解码器编码预测残差。
• 使用x264作为基线编解码器，采用分层和顺序编码结构以实现公平比较。
• 应用标准的率失真评估指标，包括PSNR和Bjontegaard delta PSNR。

实验结果

研究问题

• RQ1 与仅使用MSE训练相比，对抗性训练是否能提升预测视频帧的感知质量？
• RQ2 所提出的基于学习的帧预测方法与传统方法（如帧差法和基于块的运动补偿）相比，在PSNR和视觉质量方面表现如何？
• RQ3 与x264相比，所提出的编解码器在高运动和低运动视频序列中的率失真性能如何？
• RQ4 对抗性训练带来的视觉真实感是否能转化为更高的压缩效率？
• RQ5 深度帧预测能否实现与最先进视频编解码器相当或更优的率失真性能？

主要发现

• 对抗性训练生成的帧预测明显更清晰、更具视觉真实感，相较于仅使用MSE训练的方法。
• 尽管视觉质量更优，对抗性训练在视频压缩中的率失真性能始终劣于MSE训练。
• MSE训练的模型实现了具有竞争力的率失真性能，在所有测试序列上平均优于基线方法。
• 在高运动视频中，所提出的基于学习的帧预测方法在率失真性能上优于其他基于学习和传统的方法。
• 在低运动视频中，所提出的方法在率失真性能上与x264相当，展现出与现有编解码器相当的竞争力。
• 本研究证实，对抗性训练带来的感知质量提升无法转化为压缩效率的增益，因此不适合用于视频压缩。