[论文解读] Attribute Guided Unpaired Image-to-Image Translation with Semi-supervised Learning

Xinyang Li, Jie Hu+5 more|arXiv (Cornell University)|Apr 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 11

一句话总结

本文提出 AGUIT，一种新颖的属性引导的无配对图像到图像翻译模型，通过整合半监督学习与解耦表示学习，实现对翻译过程的细粒度控制。通过利用带标签的属性和无标签数据，结合循环一致性，将风格分解为来自正态分布和领域标签分布的连续、解耦成分，AGUIT 在多领域、多模态翻译任务中表现卓越，并引入了解耦迁移作为零样本属性迁移的新基准。

ABSTRACT

Unpaired Image-to-Image Translation (UIT) focuses on translating images among different domains by using unpaired data, which has received increasing research focus due to its practical usage. However, existing UIT schemes defect in the need of supervised training, as well as the lack of encoding domain information. In this paper, we propose an Attribute Guided UIT model termed AGUIT to tackle these two challenges. AGUIT considers multi-modal and multi-domain tasks of UIT jointly with a novel semi-supervised setting, which also merits in representation disentanglement and fine control of outputs. Especially, AGUIT benefits from two-fold: (1) It adopts a novel semi-supervised learning process by translating attributes of labeled data to unlabeled data, and then reconstructing the unlabeled data by a cycle consistency operation. (2) It decomposes image representation into domain-invariant content code and domain-specific style code. The redesigned style code embeds image style into two variables drawn from standard Gaussian distribution and the distribution of domain label, which facilitates the fine control of translation due to the continuity of both variables. Finally, we introduce a new challenge, i.e., disentangled transfer, for UIT models, which adopts the disentangled representation to translate data less related with the training set. Extensive experiments demonstrate the capacity of AGUIT over existing state-of-the-art models.

研究动机与目标

• 解决现有无配对图像到图像翻译（UIT）模型依赖完全监督数据且缺乏显式领域信息编码的局限性。
• 提出一种半监督学习框架，利用带标签和无标签数据，降低对昂贵标注的依赖。
• 通过将风格分解为独立的连续成分（来自标准正态分布噪声向量与连续领域标签分布），实现细粒度、可控的图像翻译。
• 提出一项新的评估挑战——解耦迁移，即模型将属性迁移到训练中未见过的、无关的内容上（例如，将眼镜从人脸迁移到动物）。

提出的方法

• 提出一种新颖的半监督训练方案：将带标签图像中的属性翻译到无标签图像，再通过循环一致性重建无标签图像，以强制实现特征一致性。
• 将图像表征分解为领域不变的内容码与领域特定的风格码，其中风格被建模为标准正态分布噪声向量与连续领域标签分布的组合。
• 通过训练风格码，使每个维度对应一个独立的、互不相关的属性，从而实现解耦，支持独立操控。
• 利用循环一致性损失确保翻译过程中的重建保真度，提升跨领域特征对齐的鲁棒性与准确性。
• 在风格码中整合监督（带标签属性）与无监督（噪声）两部分，以支持可控且多样的输出。
• 端到端联合训练生成器与判别器，结合对抗损失、循环一致性损失与重建损失，以稳定训练过程并提升翻译质量。

实验结果

研究问题

• RQ1 半监督学习框架是否能在减少对标注数据依赖的同时，提升无配对图像到图像翻译的性能？
• RQ2 通过将内容与领域特定属性解耦的风格表征，是否能实现细粒度、可控的图像翻译？
• RQ3 模型是否能泛化至零样本属性迁移任务，例如将人类面部属性（如眼镜）应用于训练中未见的动物？
• RQ4 所提出的双风格编码（正态分布 + 领域标签）相较于现有风格编码方法，在解耦性与可控性方面表现如何？
• RQ5 该半监督训练方案在有限标注数据下，对表征学习与翻译质量的提升程度如何？

主要发现

• AGUIT 在多领域与多模态图像翻译任务中达到最先进性能，无论在定性还是定量评估中均优于 CycleGAN、StarGAN、MUNIT 与 SMIT 等模型。
• 半监督训练方案显著提升了在有限标注数据下的翻译质量，证明了通过属性翻译与循环一致性利用无标签数据的有效性。
• 通过监督方式解耦风格码，可实现精细控制：沿单个属性维度插值时，输出图像发生平滑且有意义的变化，且无质量退化。
• 通过风格码中的噪声成分，实现了对光照、发型等属性的无监督解耦，显著减少了对人工标注的依赖。
• AGUIT 成功实现了解耦迁移——即将眼镜等属性从人脸迁移到猫与狗等动物，同时保持身份与结构完整性，而 CycleGAN、StarGAN 与 MUNIT 在此类任务中失败或产生失真结果。
• 模型的解耦表征支持高保真、可解释的翻译，各属性间干扰极小，证实了双风格编码策略的成功。