[论文解读] Flexible Piecewise Curves Estimation for Photo Enhancement

Chongyi Li, Chunle Guo+3 more|arXiv (Cornell University)|Oct 26, 2020

Image Enhancement Techniques参考文献 40被引用 9

一句话总结

本文提出 FlexiCurve，一种轻量级深度学习方法，用于图像增强，通过估计灵活的分段曲线而非执行逐像素图像重建。通过使用多任务网络预测节点点、曲线参数和空间自适应置信度图，FlexiCurve 实现了高效且高质量的增强效果，仅需 150K 个参数和 83 FPS 推理速度，在成对与非成对数据上均达到最先进性能，且无过增强或欠增强伪影。

ABSTRACT

This paper presents a new method, called FlexiCurve, for photo enhancement. Unlike most existing methods that perform image-to-image mapping, which requires expensive pixel-wise reconstruction, FlexiCurve takes an input image and estimates global curves to adjust the image. The adjustment curves are specially designed for performing piecewise mapping, taking nonlinear adjustment and differentiability into account. To cope with challenging and diverse illumination properties in real-world images, FlexiCurve is formulated as a multi-task framework to produce diverse estimations and the associated confidence maps. These estimations are adaptively fused to improve local enhancements of different regions. Thanks to the image-to-curve formulation, for an image with a size of 512*512*3, FlexiCurve only needs a lightweight network (150K trainable parameters) and it has a fast inference speed (83FPS on a single NVIDIA 2080Ti GPU). The proposed method improves efficiency without compromising the enhancement quality and losing details in the original image. The method is also appealing as it is not limited to paired training data, thus it can flexibly learn rich enhancement styles from unpaired data. Extensive experiments demonstrate that our method achieves state-of-the-art performance on photo enhancement quantitively and qualitatively.

研究动机与目标

• 解决现有基于深度学习的图像增强方法依赖逐像素重建所导致的效率低下和高内存开销问题。
• 通过非成对训练，克服成对数据方法中增强风格固定的局限，实现灵活多样的增强效果。
• 通过将图像到图像翻译替换为图像到曲线映射，平衡增强质量、效率与细节保留。
• 通过使用空间自适应置信度图融合多个曲线估计，实现自适应的局部增强。
• 设计一种支持全局色调调整与局部对比度增强的曲线估计框架，且不引入伪影。

提出的方法

• 该方法使用多任务卷积神经网络，为每个颜色通道预测控制点（节点）和曲线参数。
• 网络输出置信度图，对多个曲线估计进行空间加权，以实现不同增强方案的自适应融合。
• 曲线估计被表述为分段映射函数，允许非线性调整，同时保持可微性和平滑性。
• 该框架支持成对与非成对训练，实现风格泛化，且无需配对参考图像。
• 一种空间自适应融合机制利用学习到的置信度图，结合多个曲线预测，选择性增强局部区域。
• 输出空间受到约束，以确保解位于有效流形上，从而保持物理合理性与平滑过渡。

实验结果

研究问题

• RQ1 通过估计分段曲线而非逐像素重建图像，轻量级网络能否实现最先进图像增强性能？
• RQ2 如何自适应地融合多个曲线估计，以提升局部增强效果，同时避免过增强或欠增强？
• RQ3 基于曲线的方法能否在不依赖成对训练数据的情况下，泛化至多样的光照条件？
• RQ4 空间自适应置信度图在多大程度上提升了局部对比度与细节保留？
• RQ5 该方法在真实世界图像与历史图像上的效率、视觉质量与鲁棒性表现如何？

主要发现

• FlexiCurve 在定量指标（如 PSNR、LPIPS）和定性评估中均达到最先进性能，优于 DPED、CycleGAN 和 EnlightenGAN 等方法。
• 在 CUHK-PQ 数据集上，FlexiCurve-pair 在偏好研究中获得 25% 的用户投票，表明其具有出色的感知质量与用户偏好。
• 在单张 NVIDIA 2080Ti GPU 上，FlexiCurve 实现 83 FPS 推理速度，仅需 150K 个可训练参数，展现出极高的效率。
• 即使在非成对数据上进行训练，FlexiCurve-unpair 仍获得 12% 的用户偏好，表明其具有强大的泛化能力与对领域差距的鲁棒性。
• 该方法在真实应用场景中成功增强老旧彩色照片，有效恢复颜色、亮度与对比度。
• 尽管表现优异，FlexiCurve-unpair 有时会因无监督学习中的领域差距而引入色偏，且空间插值无法在所有区域保持局部不变性。