[论文解读] A QP-adaptive Mechanism for CNN-based Filter in Video Coding

Chao Liu, Heming Sun+3 more|arXiv (Cornell University)|Oct 25, 2020

Video Coding and Compression Technologies参考文献 21被引用 4

一句话总结

本文提出一种QP自适应机制，将量化步长（Qstep）直接集成到基于CNN的视频环路滤波器的卷积核中，使单一模型能够跨多个量化参数（QPs）实现泛化。通过在频域建模量化噪声，并修改卷积操作以根据Qstep自适应缩放，该方法在参数量减少75%的同时，实现与多个QP专用模型相当的性能，并在色度分量上额外获得0.2%的BD-rate增益。

ABSTRACT

Convolutional neural network (CNN)-based filters have achieved great success in video coding. However, in most previous works, individual models are needed for each quantization parameter (QP) band. This paper presents a generic method to help an arbitrary CNN-filter handle different quantization noise. We model the quantization noise problem and implement a feasible solution on CNN, which introduces the quantization step (Qstep) into the convolution. When the quantization noise increases, the ability of the CNN-filter to suppress noise improves accordingly. This method can be used directly to replace the (vanilla) convolution layer in any existing CNN-filters. By using only 25% of the parameters, the proposed method achieves better performance than using multiple models with VTM-6.3 anchor. Besides, an additional BD-rate reduction of 0.2% is achieved by our proposed method for chroma components.

研究动机与目标

• 为解决现有基于CNN的环路滤波器在每个QP带需使用独立模型所导致的高存储与计算成本问题。
• 在不为每个QP重新训练的前提下，提升CNN滤波器在不同量化噪声水平下的泛化能力。
• 将Qstep作为可学习的输入因子引入卷积操作，增强对不同失真水平的适应能力。
• 在解码复杂度几乎不变的前提下保持高性能，以支持实际部署。
• 通过将Qstep集成到每一层卷积中，超越仅在输入层使用QP图的现有QP自适应方法。

提出的方法

• 该方法在频域建模量化噪声，其中Q值增大对应噪声能量升高，并提出一种注入Qstep的卷积核，以自适应抑制噪声。
• 通过引入Qstep作为可学习缩放因子，将Qstep嵌入卷积核权重，从而实现基于QP的动态噪声抑制。
• 核心公式将Qstep作为卷积中的乘法因子：$ \hat{\bm{x}} = \bm{w}(Q_{\text{step}}) \ast \bm{y} $，其中卷积核$ \bm{w} $依赖于Qstep。
• 该机制应用于所有卷积层（第一层除外），确保Qstep的影响在整个网络中传播，提升鲁棒性。
• 该方法为即插即用，可直接替换任意现有CNN滤波器中的标准卷积层，无需修改网络结构。
• 该方法基于VTM-6.3基准进行验证，仅在亮度分量上进行训练，并在亮度与色度分量上进行评估。

实验结果

研究问题

• RQ1 单一基于CNN的环路滤波器是否能在不重新训练的情况下有效泛化至多个QP值？
• RQ2 如何有效将Qstep信息集成到卷积操作中，以提升在不同QP水平下的噪声抑制能力？
• RQ3 与仅在第一层输入层使用QP图的方法相比，将Qstep注入卷积核是否能提升性能？
• RQ4 在使用统一的QP自适应模型时，模型复杂度、参数量与率失真性能之间的权衡如何？
• RQ5 所提方法是否能在减少参数量与复杂度的同时，实现与多个QP专用模型相当的性能？

主要发现

• 与为每个QP带分别使用模型相比，该方法将参数量减少了75%，同时实现了相当的BD-rate性能。
• 该方法在色度分量上额外实现了0.2%的BD-rate增益，表明在仅使用亮度训练时仍具备优异的泛化能力。
• 在所有QP值下性能均保持稳定，低QP时退化极小，而独立模型在训练QP范围外性能显著下降。
• 该方法在鲁棒性方面优于QP图输入方法（Song et al. [20]），尤其在低QP（如QP=22）时，后者表现出负向增益。
• 与全局方法相比，解码复杂度仅增加约2%，表明其对实际部署的开销极低。
• 该方法在四种不同复杂度的CNN滤波器架构上均保持优异性能，证明了其通用性与泛化能力。