[论文解读] Unpaired Image Enhancement Featuring Reinforcement-Learning-Controlled Image Editing Software

Satoshi Kosugi, Toshihiko Yamasaki|arXiv (Cornell University)|Dec 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 9

一句话总结

该论文提出了一种基于强化学习（RL）的框架，利用专业图像编辑软件（如Adobe Photoshop）实现无配对图像增强，避免伪影并实现高分辨率、可解释的编辑。通过将生成器训练为RL智能体以选择软件参数，该方法在无需依赖可微分神经网络的情况下，实现了图像增强和面部美化方面的最先进性能。

ABSTRACT

This paper tackles unpaired image enhancement, a task of learning a mapping function which transforms input images into enhanced images in the absence of input-output image pairs. Our method is based on generative adversarial networks (GANs), but instead of simply generating images with a neural network, we enhance images utilizing image editing software such as Adobe Photoshop for the following three benefits: enhanced images have no artifacts, the same enhancement can be applied to larger images, and the enhancement is interpretable. To incorporate image editing software into a GAN, we propose a reinforcement learning framework where the generator works as the agent that selects the software's parameters and is rewarded when it fools the discriminator. Our framework can use high-quality non-differentiable filters present in image editing software, which enables image enhancement with high performance. We apply the proposed method to two unpaired image enhancement tasks: photo enhancement and face beautification. Our experimental results demonstrate that the proposed method achieves better performance, compared to the performances of the state-of-the-art methods based on unpaired learning.

研究动机与目标

• 解决基于CNN的无配对图像增强方法存在的局限性，包括伪影、低分辨率和缺乏可解释性。
• 利用专业、不可微分的图像编辑滤镜（无法通过反向传播训练）实现高质量图像增强。
• 开发一种将真实世界图像编辑软件集成到基于GAN的增强流水线中的训练框架。
• 在无配对设置下实现可扩展、可解释且高保真的图像增强，尤其适用于照片增强和面部美化。
• 证明RL控制的软件编辑在定量和定性评估中均优于端到端深度学习方法。

提出的方法

• 生成器作为RL智能体，选择如Adobe Photoshop的Face-Aware Liquify等软件中图像编辑滤镜的参数。
• 判别器评估增强后的图像，并根据其欺骗判别器的能力提供奖励信号给生成器。
• 该框架使用策略网络输出滤镜参数，通过强化学习训练以最大化判别器对真实性的置信度。
• 图像编辑滤镜不可微分但质量高，从而实现无伪影增强和尺度不变处理。
• 该方法应用于两个任务：使用Cityscapes数据集进行照片增强，以及使用SCUT-FBP5500数据集进行面部美化。
• 训练过程中通过掩码处理背景区域并利用关键点检测对齐人脸，以聚焦于面部结构。

实验结果

研究问题

• RQ1 强化学习能否有效用于控制不可微分的专业图像编辑软件以实现图像增强？
• RQ2 使用如Photoshop等软件中的高保真、不可微分滤镜是否能带来优于端到端CNN方法的图像质量？
• RQ3 RL控制的编辑框架能否在无配对设置下实现高分辨率、无伪影且可解释的图像增强？
• RQ4 与CycleGAN和ResGAN等最先进的无配对图像到图像翻译模型相比，RL-软件混合方法的性能如何？
• RQ5 用户在多大程度上能感知并更偏好该方法生成的增强结果，而非现有方法？

主要发现

• 在照片增强方面，该方法的平均用户评分达到4.5/5，面部美化方面为4.6/5，高于现有方法，表明其感知质量更优。
• 定性结果显示，该方法生成了自然、无伪影的增强效果，而CycleGAN和ResGAN在眼睛和面部轮廓区域产生了明显的伪影。
• 该方法成功将相同的增强流水线应用于高分辨率图像（如2000px及以上），由于Photoshop中使用了基于矢量的滤镜，表现出尺度不变性。
• RL智能体学习到以改善吸引力的方式操纵几何面部特征（如眼睛大小、鼻宽和下颌轮廓），同时不扭曲面部身份。
• 用户研究证实，该方法在自然度和整体偏好方面均优于所有基线方法。
• 该框架实现了可解释的编辑，用户能够理解并手动调整增强过程中使用的滤镜参数。