[论文解读] DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks

Andrey Ignatov, Nikolay Kobyshev+3 more|arXiv (Cornell University)|Jan 1, 2017

Advanced Image Processing Techniques参考文献 25被引用 16

一句话总结

本文提出了一种端到端的深度学习方法，通过在大规模同步图像数据集（DPED）上训练残差卷积神经网络，将手机照片增强至单反相机（DSLR）画质。通过结合内容、色彩和对抗性学习的纹理损失，该模型实现了在用户研究中与DSLR图像难以区分的感知质量优越结果。

ABSTRACT

Despite a rapid rise in the quality of built-in smartphone cameras, their physical limitations - small sensor size, compact lenses and the lack of specific hardware, - impede them to achieve the quality results of DSLR cameras. In this work we present an end-to-end deep learning approach that bridges this gap by translating ordinary photos into DSLR-quality images. We propose learning the translation function using a residual convolutional neural network that improves both color rendition and image sharpness. Since the standard mean squared loss is not well suited for measuring perceptual image quality, we introduce a composite perceptual error function that combines content, color and texture losses. The first two losses are defined analytically, while the texture loss is learned in an adversarial fashion. We also present DPED, a large-scale dataset that consists of real photos captured from three different phones and one high-end reflex camera. Our quantitative and qualitative assessments reveal that the enhanced image quality is comparable to that of DSLR-taken photos, while the methodology is generalized to any type of digital camera.

研究动机与目标

• 通过深度学习弥合手机相机与单反相机之间的感知画质差距。
• 开发一种端到端的图像增强模型，提升清晰度、色彩还原和纹理表现，且不依赖手工设计的特征。
• 构建一个大规模的真实世界数据集（DPED），包含多台相机拍摄的同步照片，用于训练与评估。
• 实现增强方法在不同手机相机类型上的泛化能力。

提出的方法

• 训练了一个类似U-Net的残差卷积神经网络，学习从低质量手机照片到单反相机画质图像的映射。
• 设计了一种复合感知损失函数，结合分析性内容损失、色彩损失和对抗性学习的纹理损失。
• 使用基于VGG的特征提取器，在多个网络层上计算内容和色彩损失，以提升感知保真度。
• 使用同步手机与单反相机拍摄的成对图像，端到端训练模型。
• 采用两阶段训练策略：首先使用MSE损失进行预训练，然后使用复合感知损失进行微调。
• 使用判别器网络以对抗方式学习真实的高频纹理细节。

实验结果

研究问题

• RQ1 深度学习模型能否有效提升手机照片画质，使其在感知质量上与单反相机图像相当？
• RQ2 在图像到图像翻译的深度学习框架中，如何有效衡量并优化感知图像质量？
• RQ3 单一模型在不同图像质量特征各异的手机相机上，其泛化能力达到何种程度？
• RQ4 结合内容、色彩和纹理分量的复合损失函数，是否能优于基于标准MSE的训练方法用于照片增强？

主要发现

• 用户研究表明，所提方法在感知画质上与单反相机图像相当，参与者无法可靠区分增强图像与单反相机原图。
• 在用户研究中，增强图像在85–95%的成对比较中优于原始手机照片，且被选择的频率与单反相机图像相当。
• 在所有对比方法中，该模型获得了最高的SSIM分数，表明其与参考单反相机图像具有极强的结构相似性。
• 在用户偏好研究中，该方法优于人工调校和APE基线模型，60%的用户更倾向于选择我们的增强图像而非专业调校版本。
• 该模型在不同手机相机上表现出良好的泛化能力，包括iPhone 3GS等低端设备。
• 尽管有所改进，但在画质最低的输入图像上仍观察到伪影，如色彩偏差、噪声过度放大和对比度夸张。