[论文解读] A Convolutional Neural Network-Based Low Complexity Filter

Chao Liu, Heming Sun+3 more|arXiv (Cornell University)|Sep 6, 2020

Advanced Vision and Imaging参考文献 55被引用 5

一句话总结

本文提出了一种基于轻量级卷积神经网络（CNN）的帧内滤波器，采用深度可分离卷积（DSC）和批量归一化以降低计算复杂度。引入了一种新颖的帧级残差映射（RM）模块，以缓解帧间图像中的过度平滑问题并提升泛化能力，在保持HEVC和VVC标准下强劲性能的同时，实现了相较于VR-CNN的1.2% BD-rate降低和79.1%更少的FLOPs。

ABSTRACT

Convolutional Neural Network (CNN)-based filters have achieved significant performance in video artifacts reduction. However, the high complexity of existing methods makes it difficult to be applied in real usage. In this paper, a CNN-based low complexity filter is proposed. We utilize depth separable convolution (DSC) merged with the batch normalization (BN) as the backbone of our proposed CNN-based network. Besides, a weight initialization method is proposed to enhance the training performance. To solve the well known over smoothing problem for the inter frames, a frame-level residual mapping (RM) is presented. We analyze some of the mainstream methods like frame-level and block-level based filters quantitatively and build our CNN-based filter with frame-level control to avoid the extra complexity and artificial boundaries caused by block-level control. In addition, a novel module called RM is designed to restore the distortion from the learned residuals. As a result, we can effectively improve the generalization ability of the learning-based filter and reach an adaptive filtering effect. Moreover, this module is flexible and can be combined with other learning-based filters. The experimental results show that our proposed method achieves significant BD-rate reduction than H.265/HEVC. It achieves about 1.2% BD-rate reduction and 79.1% decrease in FLOPs than VR-CNN. Finally, the measurement on H.266/VVC and ablation studies are also conducted to ensure the effectiveness of the proposed method.

研究动机与目标

• 解决现有基于学习的帧内滤波器在视频编码中计算复杂度过高的问题。
• 在不牺牲性能的前提下降低模型复杂度，从而实现在资源受限平台上的部署。
• 解决因对残差极小的块重复滤波而导致的帧间图像中过度平滑的问题。
• 通过统一的轻量级架构，提升基于学习的滤波器在帧内与帧间图像上的泛化能力。
• 通过高效集成，实现与HEVC和VVC等现有视频编码标准的兼容性。

提出的方法

• 所提出滤波器的主干网络采用深度可分离卷积（DSC）与批量归一化（BN）结合，以减少FLOPs和模型大小。
• 引入一种新颖的帧级残差映射（RM）模块，用于从学习到的残差中恢复失真，提升泛化能力并减少帧间图像中的过度平滑。
• 通过注意力迁移（AT）的知识蒸馏方法进行参数初始化，以加速收敛并提升训练稳定性。
• 同一网络同时应用于帧内和帧间图像，无需独立模型，从而降低存储开销。
• 模型在完整DIV2K数据集上进行训练，并在VTM-6.3上进行评估，以确保与H.266/VVC标准的兼容性。
• 消融研究验证了RM模块和参数初始化在HEVC与VVC测试序列上的有效性。

实验结果

研究问题

• RQ1 与VR-CNN等现有方法相比，该轻量级CNN帧内滤波器是否能在显著降低FLOPs的同时实现具有竞争力的BD-rate性能？
• RQ2 所提出的帧级残差映射（RM）模块在减少帧间图像中过度平滑现象的同时，对泛化能力的提升效果如何？
• RQ3 采用注意力迁移的知识蒸馏在多大程度上提升了训练性能和收敛速度？
• RQ4 单一统一网络是否能有效处理帧内与帧间图像而不会导致性能下降？
• RQ5 与HEVC基准相比，该滤波器在最新H.266/VVC标准下的表现如何？

主要发现

• 与HEVC测试序列上的VR-CNN基准相比，所提方法实现了约1.2%的BD-rate降低和79.1%的FLOPs减少。
• 在H.266/VVC标准下，该模型在AI配置下对亮度分量实现了约1.6%的BD-rate降低，在RA配置下实现了1.5%的降低。
• RM模块在所有测试序列上平均提升了0.8%的BD-rate性能，尤其在ClassC序列上最高提升了1.9%。
• 与基线学生模型相比，采用注意力迁移（AT）进行参数初始化后，色度分量（V）的PSNR提升了0.328 dB，亮度分量（Y）提升了0.329 dB。
• 消融研究证实，RM模块显著提升了帧间图像的性能，尤其在纹理复杂度较高的序列中表现突出。
• 该模型仅引入了可忽略的编码复杂度增加，解码复杂度约增加三倍，因此在实际部署中具有可行性。