[论文解读] Content and Colour Distillation for Learning Image Translations with the Spatial Profile Loss

M. Saquib Sarfraz, Constantin Seibold+2 more|arXiv (Cornell University)|Aug 1, 2019

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出了一种新颖的空域轮廓损失，可直接从源图像到目标图像蒸馏内容与色彩信息，从而在无需判别器或感知网络的情况下实现有效的图像翻译。该方法通过端到端优化学习形状/内容与风格/色彩分布，在图像到图像翻译、超分辨率和化妆迁移任务中取得了最先进性能。

ABSTRACT

Generative adversarial networks has emerged as a defacto standard for image translation problems. To successfully drive such models, one has to rely on additional networks e.g., discriminators and/or perceptual networks. Training these networks with pixel based losses alone are generally not sufficient to learn the target distribution. In this paper, we propose a novel method of computing the loss directly between the source and target images that enable proper distillation of shape/content and colour/style. We show that this is useful in typical image-to-image translations allowing us to successfully drive the generator without relying on additional networks. We demonstrate this on many difficult image translation problems such as image-to-image domain mapping, single image super-resolution and photo realistic makeup transfer. Our extensive evaluation shows the effectiveness of the proposed formulation and its ability to synthesize realistic images. [Code release: this https URL]

研究动机与目标

• 消除图像翻译任务中对判别器和感知网络等辅助网络的依赖。
• 通过直接从源图像到目标图像蒸馏内容与色彩分布，提升生成图像的质量与真实感。
• 仅使用像素级损失与空域轮廓正则化，实现图像翻译生成器的有效训练。
• 解决标准像素级损失在捕捉高层语义与风格特征方面的局限性。
• 在多样且具有挑战性的图像翻译基准上展示该方法的有效性。

提出的方法

• 该方法引入一种空域轮廓损失，基于内容与色彩的空间分布计算源图像与目标图像之间的相似性。
• 通过学习联合表征，保留图像间结构布局与色度属性，实现内容与色彩的蒸馏。
• 损失函数旨在最小化真实源图像与生成目标图像之间空域轮廓的差异。
• 该方法直接作用于生成器的输出，支持无需额外网络的端到端训练。
• 空域轮廓损失通过标准反向传播进行优化，与现有 GAN 框架兼容。
• 该方法仅依赖重建损失进行训练，无需对抗性或感知监督。

实验结果

研究问题

• RQ1 图像翻译能否在无需判别器或感知网络的情况下实现有效训练？
• RQ2 与标准损失相比，空域轮廓损失在捕捉与传递内容与色彩分布方面表现如何？
• RQ3 所提出的方法能否在超分辨率与化妆迁移等多样化图像翻译任务中实现泛化？
• RQ4 蒸馏空域内容与色彩特征对图像真实感与保真度有何影响？
• RQ5 该方法能否在更简单的训练动态与更低的架构复杂度下实现具有竞争力的性能？

主要发现

• 所提方法在无需使用判别器或感知网络的情况下，实现了图像到图像翻译的最先进性能。
• 空域轮廓损失在单图像超分辨率任务中实现了高保真图像合成，生成更锐利的纹理与更自然的细节。
• 在照片级化妆迁移任务中，该方法成功转移了细微的色彩与形状变化，同时保持了面部身份特征。
• 该方法在多样化领域（如边缘到图像、图像着色与域自适应）中表现出强大的泛化能力。
• 定量评估显示，与使用标准损失的基线方法相比，FID 与 LPIPS 指标均有显著提升。
• 该方法在更简单的训练流程、更低的计算成本与更少的超参数下实现了具有竞争力的结果。