[论文解读] CFSNet: Toward a Controllable Feature Space for Image Restoration

Wei Wang, Ruiming Guo+2 more|arXiv (Cornell University)|Apr 1, 2019

Advanced Image Processing Techniques参考文献 43被引用 5

一句话总结

CFSNet 提出了一种可控特征空间框架，用于图像复原，通过单一控制变量 α_in 实现用户对重建质量的微调，平衡感知质量与失真。通过在双分支网络中使用自适应耦合系数，该方法在超分辨率、去噪和去块效应任务中均实现了最先进性能，显著提升了视觉质量和灵活性。

ABSTRACT

Deep learning methods have witnessed the great progress in image restoration with specific metrics (e.g., PSNR, SSIM). However, the perceptual quality of the restored image is relatively subjective, and it is necessary for users to control the reconstruction result according to personal preferences or image characteristics, which cannot be done using existing deterministic networks. This motivates us to exquisitely design a unified interactive framework for general image restoration tasks. Under this framework, users can control continuous transition of different objectives, e.g., the perception-distortion trade-off of image super-resolution, the trade-off between noise reduction and detail preservation. We achieve this goal by controlling the latent features of the designed network. To be specific, our proposed framework, named Controllable Feature Space Network (CFSNet), is entangled by two branches based on different objectives. Our framework can adaptively learn the coupling coefficients of different layers and channels, which provides finer control of the restored image quality. Experiments on several typical image restoration tasks fully validate the effective benefits of the proposed method. Code is available at https://github.com/qibao77/CFSNet.

研究动机与目标

• 解决缺乏用户可控的图像复原方法的问题，以平衡感知质量与重建精度。
• 克服仅优化 PSNR 或 SSIM 而无用户偏好支持的固定、确定性网络的局限性。
• 开发一种适用于多种图像复原任务（如超分辨率、去噪、去块效应）的统一端到端框架。
• 在推理阶段通过单一标量输入 α_in 实现对复原结果的连续、实时控制。
• 通过自适应耦合系数实现更精细的特征级控制，动态调整感知与失真目标之间的权衡。

提出的方法

• 设计一种双分支网络架构，其中主干块优化低失真，调优块优化高感知质量。
• 引入耦合模块，利用从控制标量 α_in 学习到的自适应耦合系数，结合来自两个分支的特征。
• 通过可微的自适应策略，逐层和逐通道学习耦合系数，实现对特征表示的细粒度控制。
• 通过感知损失与重建损失的组合进行端到端训练，以在优化过程中平衡权衡。
• 通过复用相同的架构和控制机制，将同一框架应用于多种图像复原任务。
• 在推理阶段使用单一控制变量 α_in 插值感知优化与失真优化的输出，实现用户偏好的实时自适应。

实验结果

研究问题

• RQ1 统一的深度学习框架能否在多种任务中实现对图像复原结果的连续、用户驱动控制？
• RQ2 如何在单一可控网络中有效平衡感知质量与重建精度？
• RQ3 自适应耦合系数能否提升在未见退化水平下的特征级控制与泛化能力？
• RQ4 所提方法是否在定量指标与主观视觉质量方面均优于固定、任务特定的网络？
• RQ5 该框架能否在未见退化水平（如训练数据中未包含的噪声水平或 JPEG 质量因子）下保持高性能？

主要发现

• 在 BSD68 数据集上的图像去噪任务中，CFSNet 实现了最先进 PSNR 表现：σ=25 时为 29.24 dB，σ=30（未见）时为 28.39 dB，σ=50 时为 26.28 dB，优于 DnCNN-B 与 FFDNet 在未见噪声水平下的表现。
• 在 LIVE1 数据集上的 JPEG 去块效应任务中，CFSNet 在 q=40 时达到 34.16 dB，q=30（未见）时为 33.16 dB，q=20（未见）时为 31.71 dB，较 DnCNN-3 在 q=30 时高出 0.18 dB。
• 视觉对比显示，与 ARCNN 和 DnCNN 相比，CFSNet 在中间 α_in 值下能更好地平衡伪影去除与细节保留。
• 在 α_in=0.6 时，CFSNet 在 test017 图像中生成的天空区域比 α_in=0.5 时更平滑，证明了用户偏好驱动的视觉质量提升。
• 该框架在未见退化水平（如去噪中的 σ=15，去块效应中的 q=20）下仍保持强劲性能，证实了其强大的泛化能力。
• CFSNet 实现了推理阶段的实时交互式控制，用户无需重新训练即可根据个人偏好选择理想结果。