[论文解读] FreqNet: A Frequency-domain Image Super-Resolution Network with Dicrete Cosine Transform

Runyuan Cai, Yue Ding+1 more|arXiv (Cornell University)|Nov 21, 2021

Advanced Image Processing Techniques参考文献 32被引用 4

一句话总结

FreqNet 提出了一种频域超分辨率网络，通过离散余弦变换（DCT）特征图显式学习高频细节，结合空间与频域分支，并引入一种新型频域损失函数。该方法在指标和视觉保真度方面均优于空间域方法，实现了更优的感知质量与高保真细节重建，并可通过合并频域输出实现对其他超分辨率模型的后处理增强。

ABSTRACT

Single image super-resolution(SISR) is an ill-posed problem that aims to obtain high-resolution (HR) output from low-resolution (LR) input, during which extra high-frequency information is supposed to be added to improve the perceptual quality. Existing SISR works mainly operate in the spatial domain by minimizing the mean squared reconstruction error. Despite the high peak signal-to-noise ratios(PSNR) results, it is difficult to determine whether the model correctly adds desired high-frequency details. Some residual-based structures are proposed to guide the model to focus on high-frequency features implicitly. However, how to verify the fidelity of those artificial details remains a problem since the interpretation from spatial-domain metrics is limited. In this paper, we propose FreqNet, an intuitive pipeline from the frequency domain perspective, to solve this problem. Inspired by existing frequency-domain works, we convert images into discrete cosine transform (DCT) blocks, then reform them to obtain the DCT feature maps, which serve as the input and target of our model. A specialized pipeline is designed, and we further propose a frequency loss function to fit the nature of our frequency-domain task. Our SISR method in the frequency domain can learn the high-frequency information explicitly, provide fidelity and good perceptual quality for the SR images. We further observe that our model can be merged with other spatial super-resolution models to enhance the quality of their original SR output.

研究动机与目标

• 解决空间域单图像超分辨率（SISR）方法在显式学习与验证高频细节方面的局限性。
• 通过在频域操作提升超分辨率图像的感知质量与保真度。
• 设计适用于高频分量频域重建的损失函数与度量方法。
• 通过合并频域输出，实现对现有超分辨率模型的后处理增强。
• 设计针对DCT特征图结构的领域特定残差模块（DWRG与DRG），以更好地利用其特性。

提出的方法

• 将低分辨率（LR）与高分辨率（HR）图像转换为DCT块，并重塑为DCT特征图以进行频域处理。
• 设计双分支网络：空间特征提取网络（SEN）用于提取空间特征，频域重建网络（FRN）用于频域重建。
• 在FRN中实现深度可分离残差组（DWRG），在SEN中实现可变形残差组（DRG），以更好地捕捉频域与空间特征。
• 提出一种频域损失函数 $ L_{\text{freq}} $，用于衡量DCT域中的重建误差，特别强调高频通道。
• 通过SEN与FRN输出的加权和生成最终的频域预测，并通过逆DCT转换回空间域。
• 通过将其他SR模型输出中的特定高频DCT通道替换为FreqNet的输出，实现模型融合，从而提升细节保真度。

实验结果

研究问题

• RQ1 与空间域方法相比，显式频域学习是否能提升单图像超分辨率中的高频细节重建效果？
• RQ2 如何设计一种频域损失函数，使其对高频细节保真度的评估优于传统的PSNR或MSE？
• RQ3 哪些架构改进对频域特征提取有效？它们如何提升性能？
• RQ4 FreqNet的输出能否有效与其它SR模型融合，以提升其高频细节质量？
• RQ5 所提出的频域度量（FRM）与感知质量及高频准确性之间的相关性如何？

主要发现

• 在Set5数据集上，$ L_{\text{freq}} $-监督的FreqNet模型在PSNR与FRM指标上均优于MSE监督的基线模型，且高频纹理更清晰锐利。
• FRM度量相比PSNR对高频细节质量的敏感度更高，验证了其作为频域评估指标的有效性。
• 消融实验表明，将标准残差组替换为DWRG与DRG后，Set5上的PSNR提升0.18 dB，FRM提升0.27分。
• DWRG与DRG的组合取得了最佳性能（Set5上PSNR为32.08，FRM为43.56），证实了领域特定架构的有效性。
• 将FreqNet输出与基于GAN的SR模型（如MSRResNet-GAN）融合后，视觉对比显示在Manga109数据集上显著减少了伪影，同时保留了高频细节。
• 该方法可通过选择性替换高频DCT通道，实现对现有SR模型的实用后处理增强，在无需微调的情况下提升保真度。