[论文解读] COCO-FUNIT: Few-Shot Unsupervised Image Translation with a Content Conditioned Style Encoder

Kuniaki Saito, Kate Saenko+1 more|arXiv (Cornell University)|Jul 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 49被引用 9

一句话总结

COCO-FUNIT 通过引入内容条件化的风格编码器与恒定风格偏置（CSB），在少样本无监督图像翻译中显著减少了内容损失，同时保留输入内容结构并迁移未见域的风格，实现了在挑战性数据集上的最先进性能，涵盖自动指标与人类偏好评估。

ABSTRACT

Unsupervised image-to-image translation intends to learn a mapping of an image in a given domain to an analogous image in a different domain, without explicit supervision of the mapping. Few-shot unsupervised image-to-image translation further attempts to generalize the model to an unseen domain by leveraging example images of the unseen domain provided at inference time. While remarkably successful, existing few-shot image-to-image translation models find it difficult to preserve the structure of the input image while emulating the appearance of the unseen domain, which we refer to as the content loss problem. This is particularly severe when the poses of the objects in the input and example images are very different. To address the issue, we propose a new few-shot image translation model, COCO-FUNIT, which computes the style embedding of the example images conditioned on the input image and a new module called the constant style bias. Through extensive experimental validations with comparison to the state-of-the-art, our model shows effectiveness in addressing the content loss problem. For code and pretrained models, please check out https://nvlabs.github.io/COCO-FUNIT/ .

研究动机与目标

• 解决少样本无监督图像到图像翻译中的内容损失问题，即在风格迁移过程中输入图像的物体结构发生扭曲。
• 通过推理时仅使用一个或少数示例图像，提升对未见域的泛化能力。
• 设计一种风格编码器，将领域特定风格与姿态或视角等任务无关的外观因素分离。
• 在保持多样化物体姿态与外观下，同时确保内容忠实还原并维持逼真翻译质量。
• 通过插值多个未见域的风格码，实现灵活的风格混合。

提出的方法

• 提出一种内容条件化风格编码器，其风格嵌入同时基于输入内容图像与恒定风格偏置（CSB）计算。
• 采用新颖的网络架构，限制风格码的方差，减少姿态等非风格信息的传播。
• 引入恒定风格偏置（CSB）模块，可通过可学习因子 λ 调节，控制风格迁移程度。
• 应用对抗性训练与循环一致性损失，确保无需成对监督即可实现逼真且一致的图像翻译。
• 采用分割掩码匹配（mIoU、PAcc）与基于 FID 的分布匹配（mFID）评估内容与风格保真度。
• 通过线性组合两个不同未见域示例图像的风格码，实现风格插值。

实验结果

研究问题

• RQ1 当输入图像与示例图像间物体姿态差异显著时，内容条件化风格编码器是否能有效减少内容损失？
• RQ2 对输入内容图像进行条件化是否能提升风格迁移的保真度与内容保留能力？
• RQ3 恒定风格偏置（CSB）在多大程度上增强了对风格迁移幅度与质量的控制？
• RQ4 该方法是否能在推理时仅使用一两张示例图像的情况下泛化至未见域？
• RQ5 在内容保真度与风格逼真度的自动指标与人类偏好方面，该方法与当前最先进基线相比表现如何？

主要发现

• COCO-FUNIT 在所有数据集上均显著优于 FUNIT 基线，在 mFID、mIoU、PAcc 与人类偏好评分方面表现更优。
• 该模型在具有多样化姿态与外观的挑战性少样本翻译基准（如 Carnivores 与 Birds 数据集）上达到最先进性能。
• 消融实验表明，内容条件化风格编码器与恒定风格偏置（CSB）均至关重要：任一移除均导致性能显著下降。
• CSB 模块实现了可控风格迁移——调节缩放因子 λ 可在仅纹理迁移与形状与纹理共同迁移之间插值。
• 对两个未见域示例图像的风格码进行插值，可生成合理且逼真的翻译结果，体现模型在生成新风格方面的灵活性。
• 尽管性能优异，但在极端姿态不匹配或复杂背景交互情况下仍存在失败案例，如附录材料所述。