[论文解读] Conditional Entropy Coding for Efficient Video Compression

Jerry Liu, Shenlong Wang+5 more|arXiv (Cornell University)|Aug 20, 2020

Advanced Image Processing Techniques参考文献 35被引用 4

一句话总结

本文提出了一种轻量级、聚焦熵的视频压缩框架，通过建模来自深度图像压缩器的独立潜在码之间的条件熵，实现了与H.265及最先进深度学习基线方法相当的性能，同时解码速度比它们快数千倍。此外，该方法在推理过程中引入内部学习，使率失真权衡提升约10%，且未增加解码时间。

ABSTRACT

We propose a very simple and efficient video compression framework that only focuses on modeling the conditional entropy between frames. Unlike prior learning-based approaches, we reduce complexity by not performing any form of explicit transformations between frames and assume each frame is encoded with an independent state-of-the-art deep image compressor. We first show that a simple architecture modeling the entropy between the image latent codes is as competitive as other neural video compression works and video codecs while being much faster and easier to implement. We then propose a novel internal learning extension on top of this architecture that brings an additional 10% bitrate savings without trading off decoding speed. Importantly, we show that our approach outperforms H.265 and other deep learning baselines in MS-SSIM on higher bitrate UVG video, and against all video codecs on lower framerates, while being thousands of times faster in decoding than deep models utilizing an autoregressive entropy model.

研究动机与目标

• 解决现有基于深度学习的视频压缩方法计算成本高、解码速度慢的问题。
• 通过避免显式的帧间变换（如运动补偿或残差编码）来降低复杂度。
• 通过仅在潜在码上建模帧间相关性来提升压缩效率。
• 实现在自动驾驶汽车和视频流平台等实际系统中更快速、更实用的端到端学习视频压缩部署。

提出的方法

• 使用预训练的深度图像压缩器独立地将每一帧视频编码为潜在码，跳过帧级变换。
• 训练一个条件熵模型，用于估计第二帧潜在码在第一帧条件下的概率，从而通过熵编码降低联合比特率。
• 将条件熵模型应用于序列中相邻帧对，实现无需显式运动补偿的端到端视频压缩。
• 在推理过程中引入内部学习：通过迭代优化潜在码来提升率失真性能，同时保持解码速度不变。
• 使用PyTorch的autograd进行标准反向传播实现内部学习，尽管当前实现尚未优化。
• 在UVG、CDVL和NorthAmerica数据集上，针对不同帧率和比特率评估模型的鲁棒性与性能。

实验结果

研究问题

• RQ1 仅基于独立帧潜在码之间条件熵建模的视频压缩系统，能否优于传统及基于深度学习的编码器？
• RQ2 通过消除显式运动补偿与残差编码，是否能在不牺牲压缩效率的前提下实现显著的解码速度提升？
• RQ3 在推理过程中对潜在码进行内部学习，能否在不增加解码时间的前提下提升率失真性能？
• RQ4 在低帧率和高比特率条件下，该方法相较于H.265及其他深度学习基线方法表现如何？
• RQ5 在传统编码器表现不佳的场景下，该方法在不同视频内容与帧率下的鲁棒性如何？

主要发现

• 基础条件熵模型在MS-SSIM指标上达到与H.265及最先进深度学习视频编码器相当的性能，尤其在UVG数据集的高比特率下表现优异。
• 在较低帧率下（如UVG上12 Hz，CDVL上6 Hz），即使仅以单图像压缩为基线，该方法在MS-SSIM上也显著优于H.265。
• 与单图像压缩相比，条件熵模型在所有测试帧率与数据集上均将比特率降低了20%–50%。
• 内部学习在所有比特率与设置下额外实现了约10%的比特率节省，且解码时间未增加。
• 解码速度比自回归熵模型快数千倍，使该方法在实时应用中具备实际可行性。
• 在NorthAmerica数据集上，该方法在高比特率下MS-SSIM优于H.265，且在本车行驶时仍保持优势。