[论文解读] DeepHist: Differentiable Joint and Color Histogram Layers for Image-to-Image Translation

Mor Avi-Aharon, Assaf Arbelle+1 more|arXiv (Cornell University)|May 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 16

一句话总结

DeepHist 为图像到图像的转换引入了可微分的联合直方图与颜色直方图层，支持使用地球移动距离（EMD）进行颜色分布匹配和使用互信息（MI）进行结构保持的端到端训练。该方法在颜色迁移、图像着色以及边缘到照片的转换任务中实现了最先进性能，通过联合优化颜色保真度与内容一致性，无需配对的真实图像。

ABSTRACT

We present the DeepHist - a novel Deep Learning framework for augmenting a network by histogram layers and demonstrate its strength by addressing image-to-image translation problems. Specifically, given an input image and a reference color distribution we aim to generate an output image with the structural appearance (content) of the input (source) yet with the colors of the reference. The key idea is a new technique for a differentiable construction of joint and color histograms of the output images. We further define a color distribution loss based on the Earth Mover's Distance between the output's and the reference's color histograms and a Mutual Information loss based on the joint histograms of the source and the output images. Promising results are shown for the tasks of color transfer, image colorization and edges $ ightarrow$ photo, where the color distribution of the output image is controlled. Comparison to Pix2Pix and CyclyGANs are shown.

研究动机与目标

• 解决在缺乏配对真实图像的情况下进行图像到图像转换的任务，例如颜色迁移和图像着色。
• 克服传统直方图计算在深度学习框架中不可微分的问题。
• 在无像素级监督的情况下，通过源图像与生成图像之间的互信息来保持结构内容。
• 在 L1 损失方法往往产生灰暗或棕黄色输出的背景下，提升图像的真实感与颜色多样性。
• 实现与对抗训练兼容的基于直方图的损失的端到端训练。

提出的方法

• 引入可微分的直方图层，以可微的方式计算联合直方图与颜色直方图，使梯度能够通过直方图操作反向传播。
• 采用生成图像的颜色直方图与参考图像直方图之间的地球移动距离（EMD）作为颜色分布损失。
• 利用源图像与生成图像之间的互信息（MI）作为结构相似性损失，以保持内容一致性。
• 在统一的训练目标中结合 EMD、MI 和对抗性（GAN）损失，以平衡颜色准确性、内容保真度与真实感。
• 将直方图层嵌入生成器网络中，使反向传播过程中梯度能够通过直方图计算流动。
• 通过 YUV 颜色空间分析评估颜色分布保真度，尤其关注饱和度分量（U, V）通道。

实验结果

研究问题

• RQ1 可微分的直方图计算能否集成到深度学习框架中，以支持图像到图像转换的端到端训练？
• RQ2 在无配对真实图像的情况下，地球移动距离（EMD）损失能否有效引导颜色分布迁移？
• RQ3 在缺乏像素级监督的情况下，互信息（MI）损失能否有效保持结构内容？
• RQ4 EMD、MI 和 GAN 损失如何协同作用以提升图像真实感与颜色准确性？
• RQ5 所提出的方法能否超越基于 L1 损失的模型（如 Pix2Pix），生成更富色彩、更逼真的图像？

主要发现

• 在人类评估中，DeepHist 模型有 51.9% 的生成图像被误判为‘真实’，表明其具有极强的感知真实感。
• 消融实验表明，移除 MI 损失会导致内容保持性能显著下降，而省略 EMD 或 GAN 损失则引起颜色分布匹配不佳或视觉伪影。
• 当同时使用 EMD、MI 和 GAN 三种损失时，生成图像与源图像之间的均方误差（MSE）降低至 0.018（±0.010），而未使用 MI 时为 0.024，未使用 EMD 时为 0.053。
• 在 YUV 空间中的颜色分布分析显示，与容易导致色度通道变平的 Pix2Pix 相比，DeepHist 更好地保留了色度（U, V）分布。
• 该方法在无配对设置下成功实现了颜色迁移，如颜色转移和边缘到照片的转换，无需真实目标图像。
• EMD 与 MI 损失的结合显著减少了 L1 损失方法中常见的灰暗或棕黄色输出倾向。