[论文解读] CuDi: Curve Distillation for Efficient and Controllable Exposure Adjustment

Chongyi Li, Chunle Guo+3 more|arXiv (Cornell University)|Jul 28, 2022

Image Enhancement Techniques被引用 6

一句话总结

CuDi 提出了一种轻量级、实时的曝光调节方法，通过曲线蒸馏加速零参考、基于曲线的图像增强中的推理过程。通过用切线线性近似高阶曲线，并引入自监督的空间曝光控制损失，该方法实现了对欠曝和过曝图像的灵活、可控校正，仅需 3K 参数，在 CPU 上处理 4K 图像的推理速度低于 1 秒。

ABSTRACT

We present Curve Distillation, CuDi, for efficient and controllable exposure adjustment without the requirement of paired or unpaired data during training. Our method inherits the zero-reference learning and curve-based framework from an effective low-light image enhancement method, Zero-DCE, with further speed up in its inference speed, reduction in its model size, and extension to controllable exposure adjustment. The improved inference speed and lightweight model are achieved through novel curve distillation that approximates the time-consuming iterative operation in the conventional curve-based framework by high-order curve's tangent line. The controllable exposure adjustment is made possible with a new self-supervised spatial exposure control loss that constrains the exposure levels of different spatial regions of the output to be close to the brightness distribution of an exposure map serving as an input condition. Different from most existing methods that can only correct either underexposed or overexposed photos, our approach corrects both underexposed and overexposed photos with a single model. Notably, our approach can additionally adjust the exposure levels of a photo globally or locally with the guidance of an input condition exposure map, which can be pre-defined or manually set in the inference stage. Through extensive experiments, we show that our method is appealing for its fast, robust, and flexible performance, outperforming state-of-the-art methods in real scenes. Project page: https://li-chongyi.github.io/CuDi_files/.

研究动机与目标

• 解决在无配对训练数据的情况下，低光照或过曝图像中高效且可控的曝光调节挑战。
• 克服现有方法仅能处理欠曝或过曝图像之一的局限性，实现对两类问题的统一处理。
• 通过推理时输入的条件曝光图，实现全局与局部曝光调节的灵活控制。
• 在保持高视觉质量的前提下，实现极低模型尺寸与实时推理性能，适用于多种曝光条件。

提出的方法

• 引入曲线蒸馏，用快速的切线线性近似替代 Zero-DCE 中迭代耗时的高阶曲线操作。
• 利用切线线性的单调性保持特性，确保增强图像中的空间一致性。
• 提出一种自监督的空间曝光控制损失，使输出的曝光水平与条件曝光图对齐。
• 将条件曝光图作为输入，用于引导全局或局部曝光调节，该图可预先设定或在推理时手动调整。
• 保持零参考学习框架，避免对配对或非配对训练数据的需求。
• 设计仅含 3K 可训练参数的轻量化网络，实现在 CPU 和 GPU 上的快速推理。

实验结果

研究问题

• RQ1 曲线蒸馏是否能显著加速基于曲线的图像增强中的推理过程，同时保持性能？
• RQ2 单个模型是否能在无配对训练数据的情况下，有效校正欠曝和过曝图像？
• RQ3 是否可通过条件曝光图实现可控的曝光调节，支持均匀与空间可变的调节方式？
• RQ4 仅含 3K 参数的轻量化模型是否能在高分辨率图像（如 4K）上实现实时推理，同时保持高感知质量？
• RQ5 与当前最先进的曝光校正和低光照增强方法相比，所提方法在速度、模型大小和视觉质量方面表现如何？

主要发现

• CuDi 在 CPU 上处理 4K 图像的推理速度为 0.5 秒，在 GPU 上为 5.4 毫秒，显著快于先前方法（如 [9] 在 CPU 上耗时 16.2 秒，[13] 拥有 1200 万参数）。
• 模型仅使用 3K 可训练参数，相比 [9]（700 万参数）和 [13]（1200 万参数）大幅减少，显著提升可部署性。
• 用户研究表明，'Ours-auto' 和 'Ours-manu' 在 25 名参与者中对欠曝和过曝数据集均更受青睐，表明其具有出色的感知质量。
• 通过调整条件曝光图，该方法可从单一模型生成多种曝光水平，包括均匀和空间可变设置。
• 视觉结果表明，该方法能有效校正欠曝和过曝区域，同时保持极少伪影和自然的色彩还原。
• 失败案例出现在极端剪裁区域（如纯白或纯黑区域），因信号损失不可逆，提示未来工作需结合 RAW 数据或图像修复技术。