[论文解读] Deep Feature Consistent Deep Image Transformations: Downscaling, Decolorization and HDR Tone Mapping

Xianxu Hou, Jiang Duan+1 more|arXiv (Cornell University)|Jul 29, 2017

Image Enhancement Techniques参考文献 43被引用 26

一句话总结

本文提出了一种统一的深度学习方法——深度特征一致性深度图像转换（DFC-DIT）框架，用于处理具有挑战性的单对多图像转换任务（如下采样、去色和HDR色调映射），通过利用预训练卷积神经网络（CNN）强制输入与输出特征之间的一致性。该方法通过利用来自深层特征的感知损失来保留视觉完整性，从而在无需真实标签的情况下实现最先进性能。

ABSTRACT

Building on crucial insights into the determining factors of the visual integrity of an image and the property of deep convolutional neural network (CNN), we have developed the Deep Feature Consistent Deep Image Transformation (DFC-DIT) framework which unifies challenging one-to-many mapping image processing problems such as image downscaling, decolorization (colour to grayscale conversion) and high dynamic range (HDR) image tone mapping. We train one CNN as a non-linear mapper to transform an input image to an output image following what we term the deep feature consistency principle which is enforced through another pretrained and fixed deep CNN. This is the first work that uses deep learning to solve and unify these three common image processing tasks. We present experimental results to demonstrate the effectiveness of the DFC-DIT technique and its state of the art performances.

研究动机与目标

• 为解决下采样、去色和HDR色调映射等图像转换任务固有的不适定性问题，这些任务缺乏唯一的真实标签解。
• 将这些不同的图像处理任务统一在一个单一的深度学习框架下，以在无需标注数据的情况下保持感知质量。
• 开发一种基于深层特征一致性的学习目标，以在转换过程中保持空间相关性和视觉完整性。
• 证明单一训练的卷积神经网络（CNN）可在多个图像转换任务中超越专用方法。

提出的方法

• DFC-DIT 框架使用可训练的卷积神经网络（CNN）作为转换网络，将输入图像映射为输出图像。
• 使用一个预训练且固定的深层CNN（例如VGG）从输入和输出图像中提取深层特征。
• 感知损失通过计算输入和输出图像在多个网络层上的深层特征之间的L2距离来获得。
• 通过最小化感知损失，端到端训练转换网络，以确保高层空间相关性和语义内容得以保留。
• 通过定义任务特定的输入-输出约束和损失加权策略，将框架适配到每项任务中。
• 无需真实标签，损失仅基于与固定深层网络的特征一致性。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效处理下采样、去色和HDR色调映射等多样化的图像转换任务？
• RQ2 在缺乏真实标签的情况下，如何在单对多图像转换中保持感知质量？
• RQ3 预训练CNN中的深层特征在多大程度上可作为人类视觉感知的可靠代理，用于图像转换？
• RQ4 深层特征一致性是否能在主观和客观评估中超越传统或现有学习方法？

主要发现

• 根据定量指标和主观评估，DFC-DIT框架在所有三项任务——下采样、去色和HDR色调映射——中均达到最先进性能。
• 50名参与者参与的主观评估显示，DFC-DIT在下采样、去色和HDR色调映射任务中对所有基准方法均表现出统计上显著的偏好。
• 在图像下采样任务中，DFC-DIT通过减少混叠伪影并保留精细细节，优于子采样和基于SSIM的方法。
• 在去色任务中，DFC-DIT生成的灰度图像比亮度法和Lu等人提出的最先进方法更自然，避免了对比度过度增强的问题。
• 在HDR色调映射中，DFC-DIT的结果优于快速双边滤波和其他领先方法，更好地保留了局部对比度和色彩外观。
• 使用预训练CNN（如VGG）多个层级的深层特征，实现了比单层特征或手工设计指标更优的感知对齐效果。