[论文解读] Conditional Sequential Modulation for Efficient Global Image Retouching

Jingwen He, Yihao Liu+2 more|arXiv (Cornell University)|Sep 22, 2020

Image Enhancement Techniques参考文献 26被引用 5

一句话总结

该论文提出CSRNet，一种用于高效全局图像润饰的轻量化条件序列调制框架。通过将像素无关的润饰操作建模为多层感知机（MLPs），并利用生成全局特征调制（GFM）参数的条件网络进行调制，CSRNet在MIT-Adobe FiveK基准上实现了最先进性能，参数量低于37k，显著少于现有方法。

ABSTRACT

Photo retouching aims at enhancing the aesthetic visual quality of images that suffer from photographic defects such as over/under exposure, poor contrast, inharmonious saturation. Practically, photo retouching can be accomplished by a series of image processing operations. In this paper, we investigate some commonly-used retouching operations and mathematically find that these pixel-independent operations can be approximated or formulated by multi-layer perceptrons (MLPs). Based on this analysis, we propose an extremely light-weight framework - Conditional Sequential Retouching Network (CSRNet) - for efficient global image retouching. CSRNet consists of a base network and a condition network. The base network acts like an MLP that processes each pixel independently and the condition network extracts the global features of the input image to generate a condition vector. To realize retouching operations, we modulate the intermediate features using Global Feature Modulation (GFM), of which the parameters are transformed by condition vector. Benefiting from the utilization of $1 imes1$ convolution, CSRNet only contains less than 37k trainable parameters, which is orders of magnitude smaller than existing learning-based methods. Extensive experiments show that our method achieves state-of-the-art performance on the benchmark MIT-Adobe FiveK dataset quantitively and qualitatively. Code is available at https://github.com/hejingwenhejingwen/CSRNet.

研究动机与目标

• 解决现有基于学习的图像润饰方法在全局色调调整中依赖复杂、参数密集型架构所导致的效率低下问题。
• 将常见的全局润饰操作（如对比度、亮度、色调映射）建模为可学习的、像素级的变换，通过多层感知机（MLPs）近似。
• 设计一种最小化、参数高效的网络，通过条件特征调制将全局上下文提取与像素级处理分离。
• 通过源自全局图像特征的条件向量实现对润饰强度和风格的用户控制。
• 证明全局、序列化的润饰可通过紧凑架构有效学习，且避免学习局部特征。

提出的方法

• 提出双分支架构：仅使用1×1卷积的主干网络用于像素级处理，以及一个提取全局图像特征并生成条件向量的条件网络。
• 引入全局特征调制（GFM），其中条件向量通过可学习的缩放和偏移操作调制中间特征，模拟序列化编辑阶段。
• 采用全卷积、轻量级结构，仅包含六层，无残差或密集块，最大限度减少参数量。
• 使用源自输入图像全局统计量（如亮度、平均强度、直方图）的条件向量，或通过小型神经网络学习得到。
• 在成对的人工调整图像数据集上进行端到端训练，损失函数针对感知质量和定量图像质量进行优化。
• 通过允许条件向量调整以改变润饰强度或风格，支持用户交互式润饰。

实验结果

研究问题

• RQ1 常见的全局图像润饰操作（如对比度、亮度、色调映射）能否通过共享架构但不同参数的多层感知机（MLPs）有效近似？
• RQ2 如何设计一种轻量级神经网络，在不依赖局部卷积操作或复杂模块的情况下实现全局图像润饰？
• RQ3 何种最优策略可对主干网络进行条件化，以实现实时、风格特定的润饰，同时保持极低的参数量？
• RQ4 与学习得到的条件网络相比，使用全局先验（如亮度、强度、直方图）在性能和效率方面表现如何？
• RQ5 能否通过紧凑架构以端到端方式有效学习一种序列化、模块化的润饰方法，使其性能达到或超越当前最先进水平？

主要发现

• CSRNet在MIT-Adobe FiveK数据集上实现最先进性能，PSNR达23.69，优于HDRNet和White-Box等方法，尽管参数量仅为36,489。
• 仅使用1×1卷积和主干网络三层结构即可实现23.69的PSNR，表明更深或更大的卷积核带来的增益微乎其微。
• 全局特征调制（GFM）显著优于其他调制策略（如SFTNet和AdaIN），其中SFTNet因依赖空间变化的调制，仅达到20.73的PSNR。
• 使用直方图作为全局先验性能最佳（PSNR为22.90），其次为平均强度（21.93）和亮度（21.47），表明丰富全局统计量的重要性。
• 将学习得到的条件网络与手工设计的先验结合（如32维条件向量+768维直方图）可将性能提升至23.39 PSNR，但仅使用学习条件网络的完整CSRNet实现最佳结果（23.69 PSNR）。
• 消融实验证实，仅主干网络性能极差（PSNR为20.47），证明条件网络对有效润饰至关重要。