[论文解读] Advances In Video Compression System Using Deep Neural Network: A Review And Case Studies

Dandan Ding, Zhan Ma+4 more|arXiv (Cornell University)|Jan 15, 2021

Advanced Data Compression Techniques被引用 10

一句话总结

本文综述了基于深度神经网络（DNN）的视频压缩技术进展，重点关注预处理、编码和后处理三个功能模块。提出了一系列DNN增强型解决方案，如语义感知预处理、端到端神经视频编码以及自适应滤波器，展示了在率失真效率和主观质量方面的提升，案例研究显示压缩性能和压缩视频的机器可读性显著提高。

ABSTRACT

Significant advances in video compression system have been made in the past several decades to satisfy the nearly exponential growth of Internet-scale video traffic. From the application perspective, we have identified three major functional blocks including pre-processing, coding, and post-processing, that have been continuously investigated to maximize the end-user quality of experience (QoE) under a limited bit rate budget. Recently, artificial intelligence (AI) powered techniques have shown great potential to further increase the efficiency of the aforementioned functional blocks, both individually and jointly. In this article, we review extensively recent technical advances in video compression system, with an emphasis on deep neural network (DNN)-based approaches; and then present three comprehensive case studies. On pre-processing, we show a switchable texture-based video coding example that leverages DNN-based scene understanding to extract semantic areas for the improvement of subsequent video coder. On coding, we present an end-to-end neural video coding framework that takes advantage of the stacked DNNs to efficiently and compactly code input raw videos via fully data-driven learning. On post-processing, we demonstrate two neural adaptive filters to respectively facilitate the in-loop and post filtering for the enhancement of compressed frames. Finally, a companion website hosting the contents developed in this work can be accessed publicly at https://purdueviper.github.io/dnn-coding/.

研究动机与目标

• 应对因视频流量指数级增长以及更高分辨率/保真度需求而带来的高效视频压缩日益增长的需求。
• 探索深度神经网络（DNN）如何增强视频压缩的三个核心功能模块：预处理、编码与后处理。
• 通过人工智能驱动、内容自适应的压缩方法，在有限比特率约束下提升端到端视频质量体验（QoE）。
• 通过在压缩域中保留语义特征，实现压缩与下游计算机视觉任务的联合优化。
• 识别并解决关键挑战，如模型复杂度、有限数据下的泛化能力不足，以及缺乏与人类视觉系统（HVS）对齐的质量度量标准。

提出的方法

• 提出一种可切换的、基于纹理的视频编码框架，利用DNN进行场景理解，以提取语义区域并实现自适应量化。
• 提出一种端到端神经视频编码架构，采用堆叠DNN学习原始视频的紧凑、数据驱动表示，无需手工设计的编码工具。
• 开发两种基于神经网络的自适应滤波器——分别针对环路内和后处理阶段——以减少压缩伪影并提升重建帧质量。
• 利用深度学习实现内容感知编码，结合人类视觉系统（HVS）的特性，如掩蔽效应和频率选择性。
• 利用DNN学习感知优化的损失函数，包括SSIM、VMAF以及基于语义特征的损失，以提升质量评估效果。
• 将基于DNN的技术集成到视频编码流程中，以保留对机器视觉任务有用的时空特征，实现在最小解码需求下的压缩。

实验结果

研究问题

• RQ1 如何通过利用语义内容理解，使基于DNN的预处理提升视频压缩效率？
• RQ2 端到端神经视频编码在保持主观质量的同时，其率失真性能相比传统编码器（如VVC）能提升多少？
• RQ3 基于DNN的自适应滤波器在后处理和环路内阶段是否能有效减少压缩伪影并提升重建视频质量？
• RQ4 如何优化基于DNN的视频压缩，使其在压缩域中同时支持人类感知与机器智能任务？
• RQ5 部署基于DNN的视频压缩面临哪些关键挑战，以及如何通过模型设计与硬件加速加以缓解？

主要发现

• 基于DNN的预处理通过场景理解实现内容自适应编码，通过为感知重要区域分配更高比特率，显著提升视频质量。
• 采用堆叠DNN的端到端神经视频编码在率失真性能上达到与传统编码器（如VVC）相当或更优的表现，且完全依赖数据驱动的特征学习。
• 后处理与环路内阶段的神经自适应滤波器显著减少了方块效应和振铃伪影，提升了主观与客观视频质量指标。
• 基于DNN的压缩方法保留了对下游计算机视觉任务有用的语义特征，使分类与检索任务在无需完整像素重建的情况下仍能保持较高准确率。
• 尽管计算与内存需求较高，但专用硬件（如NPU）可实现基于DNN的视频编码器在移动与边缘设备上的可扩展部署。
• 将HVS感知、可微分的质量度量（如VMAF）与DNN训练相结合，可提升主观质量，但统一的、以HVS为驱动的质量度量仍是开放性挑战。