[论文解读] A practical convolutional neural network as loop filter for intra frame

Xiaodan Song, Jiabao Yao+5 more|arXiv (Cornell University)|May 16, 2018

Advanced Vision and Imaging参考文献 7被引用 8

一句话总结

该论文提出了一种单一的、与QP无关的卷积神经网络（CNN）环路滤波器，用于帧内视频编码，通过将量化参数（QP）和重建结果作为输入，实现跨质量等级的通用应用。通过结合模型压缩与动态定点（DFP）推理，该方法在不同平台上保持一致的性能表现，同时减少冗余，在全帧内配置下，与JEM 7.0相比，亮度分量和色度分量的BD-rate分别降低了3.14%、5.21%和6.28%。

ABSTRACT

Loop filters are used in video coding to remove artifacts or improve performance. Recent advances in deploying convolutional neural network (CNN) to replace traditional loop filters show large gains but with problems for practical application. First, different model is used for frames encoded with different quantization parameter (QP), respectively. It is expensive for hardware. Second, float points operation in CNN leads to inconsistency between encoding and decoding across different platforms. Third, redundancy within CNN model consumes precious computational resources. This paper proposes a CNN as the loop filter for intra frames and proposes a scheme to solve the above problems. It aims to design a single CNN model with low redundancy to adapt to decoded frames with different qualities and ensure consistency. To adapt to reconstructions with different qualities, both reconstruction and QP are taken as inputs. After training, the obtained model is compressed to reduce redundancy. To ensure consistency, dynamic fixed points (DFP) are adopted in testing CNN. Parameters in the compressed model are first quantized to DFP and then used for inference of CNN. Outputs of each layer in CNN are computed by DFP operations. Experimental results on JEM 7.0 report 3.14%, 5.21%, 6.28% BD-rate savings for luma and two chroma components with all intra configuration when replacing all traditional filters.

研究动机与目标

• 为解决现有基于CNN的环路滤波器需为每个QP级别单独训练模型所导致的高硬件成本问题。
• 解决CNN中浮点运算引起的推理平台不一致性问题。
• 通过结构化压缩与量化，减少模型冗余与计算开销。
• 开发一种单一、鲁棒的CNN滤波器，实现对不同QP级别和重建质量的泛化能力。
• 通过动态定点（DFP）推理确保在多种硬件平台上的编码-解码行为一致性。

提出的方法

• 采用残差结构的CNN，同时输入重建的帧内帧和QP值，使单一模型可处理多个QP级别。
• 模型压缩分两个阶段进行：(1) 对批量归一化缩放参数施加L1正则化，以在训练过程中剪枝滤波器；(2) 通过低秩近似与微调进一步减少参数冗余。
• 压缩后，模型权重被量化为动态定点（DFP）格式，以确保在CPU和GPU平台上的推理一致性。
• 推理过程中，所有层输出均使用DFP算术计算，随后进行反归一化以生成最终滤波输出。
• 整个流水线端到端进行训练与优化，量化后通过微调恢复性能损失。
• 在全帧内与随机访问配置下，使用JEM 7.0进行评估，以BD-rate为主要指标。

实验结果

研究问题

• RQ1 单一CNN模型能否有效替代帧内视频编码中多个针对特定QP的环路滤波器？
• RQ2 如何在不牺牲编码效率的前提下减少模型冗余？
• RQ3 动态定点推理能否确保在不同硬件平台上的结果一致性？
• RQ4 与JEM 7.0中的传统滤波器相比，无QP依赖的CNN环路滤波器的性能增益如何？
• RQ5 所提方法能否在降低计算与存储开销的同时保持高性能？

主要发现

• 在全帧内配置下，所提出的CNNF在亮度分量上实现3.14%的BD-rate降低，色度分量分别降低5.21%和6.28%，优于最佳的QP特定模型。
• 该模型在所有测试QP级别（22–37）下均表现出一致性能，仅需一个训练好的网络，无需多个QP特定模型。
• 在GPU加速下，编码时间减少至JEM 7.0的93%，解码时间可接受，为基线的157%，表明具备实际可行性。
• 在CPU上，解码时间显著增加（ClassE最高达15,360%），但预计未来硬件加速将显著改善此问题。
• 滤波器剪枝与低秩近似相结合，有效减少了模型冗余，支持高效部署。
• 主观质量提升在边缘区域尤为明显，证实了视觉保真度的增强。