[论文解读] Boosting the Performance of Video Compression Artifact Reduction with Reference Frame Proposals and Frequency Domain Information

Yi Xu, Minyi Zhao+5 more|arXiv (Cornell University)|May 31, 2021

Advanced Image Processing Techniques参考文献 37被引用 4

一句话总结

该论文提出了一种参考帧提议（RFP）策略和基于FFT的损失函数，以增强多帧视频压缩伪影的减少。通过选择最优参考帧并监督频域细节，该方法提升了重建保真度和主观质量，在MFQE 2.0数据集上达到最先进性能，并在NTIRE 2021比赛中获得Track 1和Track 2的冠军。

ABSTRACT

Many deep learning based video compression artifact removal algorithms have been proposed to recover high-quality videos from low-quality compressed videos. Recently, methods were proposed to mine spatiotemporal information via utilizing multiple neighboring frames as reference frames. However, these post-processing methods take advantage of adjacent frames directly, but neglect the information of the video itself, which can be exploited. In this paper, we propose an effective reference frame proposal strategy to boost the performance of the existing multi-frame approaches. Besides, we introduce a loss based on fast Fourier transformation~(FFT) to further improve the effectiveness of restoration. Experimental results show that our method achieves better fidelity and perceptual performance on MFQE 2.0 dataset than the state-of-the-art methods. And our method won Track 1 and Track 2, and was ranked the 2nd in Track 3 of NTIRE 2021 Quality enhancement of heavily compressed videos Challenge.

研究动机与目标

• 解决现有多帧方法仅依赖相邻帧而未充分利用视频完整时间上下文的局限性。
• 通过提出一种从邻近压缩帧中选择最具信息量参考帧的策略，提升重建质量。
• 通过引入频域监督信号，减轻基于深度学习的视频增强方法中常见的过度平滑和高频细节丢失问题。
• 通过架构改进和集成技术提升模型性能，同时显著降低计算成本。

提出的方法

• 提出一种参考帧提议（RFP）策略，基于其与目标帧的相关性，从邻近压缩帧中选择最优参考帧。
• 将RFP策略作为增量模块集成到现有多帧方法（如STDF）中，无需架构重构即可提升性能。
• 提出一种基于快速傅里叶变换（FFT）的损失函数，用于在频域监督高频细节的恢复。
• 结合空间域L1损失与频域FFT损失，联合优化像素级准确性和频谱保真度。
• 采用基于Ada-WDSR-A模块的更深质量增强（QE）模块，并通过扩展特征通道提升表示能力。
• 应用自集成与门控融合策略：自集成通过数据增强和多次前向传播的平均实现，门控融合则通过可学习掩码结合在官方数据集和额外数据集（BiliTube4k）上训练的模型预测结果。

Figure 1: Examples of high-frequency recovery. These visual cases are compressed frame (top left), prediction of STDF (top right), prediction of a model trained with $L1$ + FFT loss ( ours ) (bottom left), and the ground truth (bottom right).

实验结果

研究问题

• RQ1 参考帧提议策略是否能通过选择比相邻帧更具信息量的帧，提升现有多帧视频压缩伪影减少方法的性能？
• RQ2 通过FFT损失引入频域监督，是否能比标准L1损失更有效地减少过度平滑并恢复高频细节？
• RQ3 架构深度与集成技术（自集成、门控融合）在多大程度上能提升模型在未见数据上的泛化能力和性能？
• RQ4 在基准数据集上，所提出的RFP与FFT损失与最先进方法相比，在保真度和主观质量方面表现如何？

主要发现

• 将所提出的RFP策略应用于STDF时，性能显著提升，优于直接使用相邻帧的方法。
• 基于FFT的损失能有效减少过度平滑，并恢复精细纹理与高频细节，如图1所示的视觉结果所证实。
• 结合RFP与FFT损失后，PSNR与LPIPS指标均实现显著提升，表明二者具有互补优势。
• 该方法在MFQE 2.0数据集上取得了最高的PSNR与LPIPS得分，优于最先进方法。
• 该方案在NTIRE 2021视频重度压缩质量增强挑战赛中获得Track 1与Track 2冠军，并在Track 3中获得第二名。
• 使用更深的IQE模块、自集成与门控融合策略进一步提升了性能，其中自集成在验证集上使PSNR提升了0.12 dB。

Figure 2: The framework of our method.