[论文解读] Modulating Image Restoration with Continual Levels via Adaptive Feature Modification Layers

Jingwen He, Chao Dong+1 more|arXiv (Cornell University)|Apr 17, 2019

Advanced Image Processing Techniques参考文献 21被引用 4

一句话总结

本文提出AdaFM-Net，一种统一的CNN框架，通过自适应特征修改层实现对图像恢复程度（如去噪、超分辨率、DeJPEG）的持续、用户可控调节。通过训练一个基础模型并插入轻量级AdaFM层以插值滤波器统计量，该方法在无需微调的情况下，以少于4%的额外参数，在任意退化水平下实现平滑、无伪影的恢复，且保持接近最先进（SOTA）的性能。

ABSTRACT

In image restoration tasks, like denoising and super resolution, continual modulation of restoration levels is of great importance for real-world applications, but has failed most of existing deep learning based image restoration methods. Learning from discrete and fixed restoration levels, deep models cannot be easily generalized to data of continuous and unseen levels. This topic is rarely touched in literature, due to the difficulty of modulating well-trained models with certain hyper-parameters. We make a step forward by proposing a unified CNN framework that consists of few additional parameters than a single-level model yet could handle arbitrary restoration levels between a start and an end level. The additional module, namely AdaFM layer, performs channel-wise feature modification, and can adapt a model to another restoration level with high accuracy. By simply tweaking an interpolation coefficient, the intermediate model - AdaFM-Net could generate smooth and continuous restoration effects without artifacts. Extensive experiments on three image restoration tasks demonstrate the effectiveness of both model training and modulation testing. Besides, we carefully investigate the properties of AdaFM layers, providing a detailed guidance on the usage of the proposed method.

研究动机与目标

• 填补深度学习图像恢复中模型在离散、固定退化水平上进行训练所导致的空白，限制了其在真实场景中的可用性。
• 实现在推理过程中无需微调或重新训练即可持续、交互式调节恢复强度。
• 开发一个统一的框架，能够在连续退化水平（如JPEG质量、噪声方差）上泛化，且计算开销极低。
• 通过在起始和结束水平均保持高保真度，确保在所有调节水平下输出质量优异。
• 为需要实时调节恢复效果的交互式应用提供实用、可部署的解决方案。

提出的方法

• 引入自适应特征修改（AdaFM）层，通过深度可分离卷积在推理过程中自适应地修改特征统计量。
• 在起始退化水平（如DeJPEG的q80）上训练基础恢复CNN，随后插入并微调AdaFM层以适应结束退化水平（如q10）。
• 在推理过程中，通过插值AdaFM层滤波器使用标量系数λ ∈ [0,1]调节模型，实现水平间的平滑过渡。
• 使用多项式函数λ = Σ w_j * L_c^j将连续退化水平L_c映射到插值系数λ，实现对退化水平的精确预测。
• 训练完成后固定所有CNN和AdaFM参数，实现无需额外学习或微调的实时调节。
• 优化AdaFM层以在起始和结束水平均保持高性能，确保在整个调节范围内具备鲁棒性。

实验结果

研究问题

• RQ1 是否可以仅通过一次训练，使单一深度学习模型在无需微调的情况下，有效调节连续范围内的退化水平？
• RQ2 如何修改特征统计量，以实现恢复水平之间平滑、无伪影的过渡？
• RQ3 实现高质量、连续调节的图像恢复所需的最小参数开销是多少？
• RQ4 调节后模型在退化范围两端的性能与单水平模型相比如何？
• RQ5 在退化水平与调节系数之间使用多项式映射，能否在未见水平上实现准确且稳定的恢复？

主要发现

• AdaFM-Net在所有测试水平上与经过充分训练的单水平模型的PSNR距离均低于0.2 dB，表明调节精度极高。
• 在较小退化范围（如q80→q50）内的调节产生的PSNR距离显著低于较大范围（如q80→q10），表明范围分解可提升性能。
• AdaFM层增加的参数少于总模型参数的4%，同时实现了完整的连续调节，表明该方法具有极高的效率。
• 定性结果表明，即使在极端水平下，调节输出也无可见伪影，而使用条件IN或AdaBN的方法则会产生明显失真。
• 该方法成功实现了通过单个控制旋钮（λ）实现交互式、实时调节恢复强度，已在DeJPEG、超分辨率和去噪任务中得到验证。
• 使用多项式函数对插值系数λ进行曲线拟合，可实现退化水平与调节设置之间的精确映射，其中三次函数在大范围上优于线性拟合。