[论文解读] Exposure: A White-Box Photo Post-Processing Framework

Yuanming Hu, Hao He+3 more|arXiv (Cornell University)|Sep 27, 2017

Advanced Image and Video Retrieval Techniques参考文献 48被引用 53

一句话总结

本论文提出 Exposure，一种白盒、端到端的照片后期处理系统，在未配对数据上训练，提供润饰后的图像以及可被人理解的编辑序列。

ABSTRACT

Retouching can significantly elevate the visual appeal of photos, but many casual photographers lack the expertise to do this well. To address this problem, previous works have proposed automatic retouching systems based on supervised learning from paired training images acquired before and after manual editing. As it is difficult for users to acquire paired images that reflect their retouching preferences, we present in this paper a deep learning approach that is instead trained on unpaired data, namely a set of photographs that exhibits a retouching style the user likes, which is much easier to collect. Our system is formulated using deep convolutional neural networks that learn to apply different retouching operations on an input image. Network training with respect to various types of edits is enabled by modeling these retouching operations in a unified manner as resolution-independent differentiable filters. To apply the filters in a proper sequence and with suitable parameters, we employ a deep reinforcement learning approach that learns to make decisions on what action to take next, given the current state of the image. In contrast to many deep learning systems, ours provides users with an understandable solution in the form of conventional retouching edits, rather than just a "black-box" result. Through quantitative comparisons and user studies, we show that this technique generates retouching results consistent with the provided photo set.

研究动机与目标

• 通过从反映用户风格的未配对照片集合中学习，解决收集配对润饰数据的困难。
• 提供一个端到端的后处理模型，将多种编辑作为可区分的滤镜序列应用。
• 通过输出有意义的操作序列而非黑箱结果，提供透明度。
• 通过分辨率无关的滤镜，确保对高分辨率图像的编辑兼容性。
• 通过基于 GAN 的风格模型和强化学习，学习个人润饰偏好。

提出的方法

• 将润饰形式化为一个以状态为中间图像、动作为可区分的滤镜的序列决策过程。
• 将编辑建模为可应用于高分辨率 RAW 数据、分辨率无关的可区分滤镜。
• 使用双策略网络：一个用于离散滤镜的选择，另一个用于所选滤镜参数的连续调优。
• 通过策略梯度（演员-评论家）进行训练，由基于判别器的图像质量奖励来自 GAN 指导。
• 引入 Wasserstein GAN，使生成的编辑与目标照片集合对齐，而无需配对数据。
• 用可微的分段线性形式表示颜色曲线，以实现基于梯度的学习。

实验结果

研究问题

• RQ1 是否可以利用未配对的照片集合在不依赖图像配对的情况下学习用户的润饰风格？
• RQ2 一个可区分且可人类理解的滤镜序列是否能模拟专业润饰风格？
• RQ3 将强化学习与 GAN 判别器结合，是否能在 RAW 输入上获得高质量、风格一致的编辑？
• RQ4 所得到的编辑序列是否对用户可解释且可逆，并且能扩展到高分辨率图像？

主要发现

• 系统学习润饰 RAW 图像，使其风格与目标照片集合相匹配且无需配对数据。
• 编辑以一系列常规、可理解的操作呈现，而非黑箱结果。
• 框架输出分辨率无关的滤镜序列，可应用于高分辨率图像（例如从 RAW 到可显示输出）。
• 用户研究与定量比较表明润饰结果与提供的照片集合中的偏好风格一致。
• 一个将可微滤镜、强化学习和 GAN 融合的端到端模型，在没有配对图像的情况下实现了看起来合理的风格迁移。