[论文解读] Automatic Photo Adjustment Using Deep Learning.

Zhicheng Yan, Hao Zhang+3 more|arXiv (Cornell University)|Dec 24, 2014

Advanced Image and Video Retrieval Techniques参考文献 24被引用 8

一句话总结

本文提出一种深度学习方法，用于自动照片调整，通过建模空间可变的、语义感知的色调与色彩校正，实现更精确的复杂摄影风格学习，优于以往技术，在多种图像类型上取得更优的定性和定量结果。

ABSTRACT

Photo retouching enables photographers to invoke dramatic visual impressions by artistically enhancing their photos through stylistic color and tone adjustments. However, it is also a time-consuming and challenging task that requires advanced skills beyond the abilities of casual photographers. Using an automated algorithm is an appealing alternative to manual work but such an algorithm faces many hurdles. Many photographic styles rely on subtle adjustments that depend on the image content and even its semantics. Further, these adjustments are often spatially varying. Because of these characteristics, existing automatic algorithms are still limited and cover only a subset of these challenges. Recently, deep machine learning has shown unique abilities to address hard problems that resisted machine algorithms for long. This motivated us to explore the use of deep learning in the context of photo editing. In this paper, we explain how to formulate the automatic photo adjustment problem in a way suitable for this approach. We also introduce an image descriptor that accounts for the local semantics of an image. Our experiments demonstrate that our deep learning formulation applied using these descriptors successfully capture sophisticated photographic styles. In particular and unlike previous techniques, it can model local adjustments that depend on the image semantics. We show on several examples that this yields results that are qualitatively and quantitatively better than previous work.

研究动机与目标

• 解决自动化复杂照片润饰的挑战，该挑战需要超越基础增强的细微、内容相关调整。
• 克服现有自动算法的局限性，这些算法无法有效建模受图像语义影响的空间可变调整。
• 开发一种深度学习框架，能够从示例图像中学习复杂的摄影风格。
• 提出一种新型图像描述符，用于编码局部语义内容，以指导风格迁移。
• 通过同时建模全局与局部风格调整，实现自动照片调整的最先进性能。

提出的方法

• 将自动照片调整问题建模为使用卷积神经网络的深度学习回归任务。
• 设计一种局部图像描述符，以在多空间尺度上捕捉语义内容，从而指导风格调整。
• 在成对图像数据（原始图像与润饰后图像）上端到端训练网络，学习从输入到调整后输出的映射。
• 通过将网络输出条件化于局部语义特征，实现空间可变的变换。
• 使用结合像素级与特征级监督的感知损失函数，以保持视觉质量。
• 利用预训练网络的深层特征，编码图像描述符中的语义内容。

实验结果

研究问题

• RQ1 深度学习能否有效建模自动照片调整中复杂且语义相关的摄影风格？
• RQ2 学习到的表征在多大程度上能捕捉局部语义内容，以指导空间可变的色调与色彩调整？
• RQ3 与非语义方法相比，引入语义上下文在多大程度上提升了自动照片润饰的真实感与准确性？
• RQ4 所提出的方法能否在多样的摄影风格与图像内容上实现泛化？
• RQ5 与现有自动调整技术相比，该模型在定性和定量性能上表现如何？

主要发现

• 所提方法成功建模了依赖于图像语义的局部调整，实现了更自然、上下文感知的润饰。
• 结果表明，与以往自动方法相比，本方法在定性上表现更优，尤其在保留图像内容及适当地应用风格化效果方面。
• 该模型在捕捉传统算法难以处理的细微、艺术性微妙调整方面表现更优。
• 使用语义感知图像描述符显著提升了风格迁移的准确性，相比仅使用全局或非语义特征的方法。
• 定量评估显示，与基线方法相比，调整后图像的感知质量更高，失真更小。
• 该方法在多种图像类型与摄影风格上均表现出良好的泛化能力，表明其具备鲁棒性与适应性。