[论文解读] Content Adaptive and Error Propagation Aware Deep Video Compression

Guo Lu, Chunlei Cai+5 more|arXiv (Cornell University)|Mar 25, 2020

Advanced Data Compression Techniques参考文献 34被引用 10

一句话总结

本文提出了一种内容自适应且具备错误传播感知能力的深度视频压缩框架，通过联合优化多个连续帧的率失真性能，减轻错误累积。通过在推理过程中引入在线编码器更新机制，该方法在不增加模型大小或解码复杂度的前提下，自适应地调整编码器以匹配视频内容，从而在基准数据集上实现了最先进性能。

ABSTRACT

Recently, learning based video compression methods attract increasing attention. However, the previous works suffer from error propagation due to the accumulation of reconstructed error in inter predictive coding. Meanwhile, the previous learning based video codecs are also not adaptive to different video contents. To address these two problems, we propose a content adaptive and error propagation aware video compression system. Specifically, our method employs a joint training strategy by considering the compression performance of multiple consecutive frames instead of a single frame. Based on the learned long-term temporal information, our approach effectively alleviates error propagation in reconstructed frames. More importantly, instead of using the hand-crafted coding modes in the traditional compression systems, we design an online encoder updating scheme in our system. The proposed approach updates the parameters for encoder according to the rate-distortion criterion but keeps the decoder unchanged in the inference stage. Therefore, the encoder is adaptive to different video contents and achieves better compression performance by reducing the domain gap between the training and testing datasets. Our method is simple yet effective and outperforms the state-of-the-art learning based video codecs on benchmark datasets without increasing the model size or decreasing the decoding speed.

研究动机与目标

• 为解决基于学习的视频压缩中因帧间预测累积重建误差导致的错误传播问题。
• 通过在推理过程中基于视频内容动态更新编码器，实现内容自适应编码。
• 在不增加模型大小或解码计算复杂度的前提下，提升压缩效率。
• 通过使编码器适应多样化视频内容，缩小训练与测试数据之间的域差距。

提出的方法

• 该方法采用联合训练策略，在T个连续帧的序列上最小化率失真代价，而非单帧，以利用长期时间依赖性。
• 引入在线编码器更新（OEU）机制，在推理过程中，基于率失真准则逐帧优化编码器参数，而解码器保持固定。
• 通过率失真优化目标迭代更新编码器，使其能够适应不同的运动复杂度和内容特征。
• 通过端到端训练与多帧优化，学习每帧的最优编码策略，避免手工设计的编码模式。
• 该方法保持固定解码器，确保解码时间与模型大小不增加，同时实现面向内容的编码器自适应。
• 训练目标引入时间间隔T以建模长期错误传播，实验表明在T=5时性能最优。

实验结果

研究问题

• RQ1 如何通过利用长期时间依赖性，在训练过程中减轻深度视频压缩中的错误传播？
• RQ2 在推理过程中进行在线编码器自适应是否能提升多样化视频内容的压缩性能？
• RQ3 所提方法是否在不增加模型大小或解码复杂度的前提下，实现优于最先进学习型编码器的率失真性能？
• RQ4 联合训练目标中时间间隔T的选择如何影响错误传播与压缩效率？

主要发现

• 在联合训练目标中使用时间间隔T=5时，与基线相比，该方法实现了5.59%的比特率节省。
• 在线编码器更新（OEU）机制使率失真性能相比基线提升超过0.5 dB。
• 结合EPA训练与OEU的完整方法性能最佳，超越最先进方法[19]，且未增加模型大小或解码复杂度。
• 编码器更新过程在简单场景（如HEVC Class B）中仅需较少迭代次数（3次），而在复杂场景（如HEVC Class C）中需更多迭代，复杂场景下性能提升达1 dB。
• 在复杂视频序列上，该方法的编码速度（1.4 fps）显著快于H.265（0.1 fps），证明了其实际可行性。