[论文解读] Image-to-image Translation via Hierarchical Style Disentanglement

Xinyang Li, Shengchuan Zhang+7 more|arXiv (Cornell University)|Mar 2, 2021

Generative Adversarial Networks and Image Synthesis参考文献 51被引用 9

一句话总结

本文提出层级风格解耦（HiSD），一种新颖的图像到图像翻译框架，通过将标签组织为独立标签与互斥属性的分层树结构，实现解耦且可控的风格操作。通过使用注意力掩码和条件判别器进行无监督解耦，学习与标签相关的风格，HiSD在无需全局或身份保留伪影的情况下，实现了真实、多样且精确的翻译，在CelebA-HQ上取得了最先进水平的定性和定量结果。

ABSTRACT

Recently, image-to-image translation has made significant progress in achieving both multi-label (\ie, translation conditioned on different labels) and multi-style (\ie, generation with diverse styles) tasks. However, due to the unexplored independence and exclusiveness in the labels, existing endeavors are defeated by involving uncontrolled manipulations to the translation results. In this paper, we propose Hierarchical Style Disentanglement (HiSD) to address this issue. Specifically, we organize the labels into a hierarchical tree structure, in which independent tags, exclusive attributes, and disentangled styles are allocated from top to bottom. Correspondingly, a new translation process is designed to adapt the above structure, in which the styles are identified for controllable translations. Both qualitative and quantitative results on the CelebA-HQ dataset verify the ability of the proposed HiSD. We hope our method will serve as a solid baseline and provide fresh insights with the hierarchically organized annotations for future research in image-to-image translation. The code has been released at https://github.com/imlixinyang/HiSD.

研究动机与目标

• 为解决现有多标签与多风格图像到图像翻译方法中缺乏独立性与排他性的问题，这些方法常导致身份或背景改变等不可控操作。
• 解耦风格表征，使每个标签（如眼镜、发色）与独特、可解释且解耦的视觉风格相关联。
• 在无需风格解耦的监督标注情况下，实现对单个属性的精确控制，支持潜在空间引导与基于参考图像的风格迁移。
• 设计一种训练框架，通过注意力掩码与标签无关判别器，防止全局操作与隐式属性泄露。

提出的方法

• 该方法将标签组织为分层结构：独立标签（如'With_Bangs'）与互斥属性（如'Blond_Hair'与'Black_Hair'），实现对属性与风格的独立建模。
• 局部翻译器使用注意力掩码，将风格操作限制在图像的局部区域，从而减少全局与身份保留伪影。
• 引入标签无关的条件判别器，防止生成器对与目标属性无关的冗余标签进行操作。
• 该框架支持两种风格生成模式：通过映射网络生成潜在码，以及通过风格编码器基于参考图像提取风格。
• 应用循环一致性损失与风格一致性损失，确保生成与提取的风格保持身份与内容保真度。
• 模型采用改进的GAN架构，包含ResBlocks、AdaIN层，并通过铰链损失与R1正则化实现对抗训练，以提升训练稳定性。

实验结果

研究问题

• RQ1 分层标签结构是否能有效解耦图像到图像翻译中独立与互斥属性的风格？
• RQ2 对标签相关风格的无监督解耦是否能实现无身份或背景伪影的可控、多样且真实的图像翻译？
• RQ3 模型能否通过在学习到的风格空间中进行连续插值，泛化到未见过的风格组合？
• RQ4 注意力掩码与标签无关判别器的使用是否能提升解耦效果并减少不可控的全局操作？
• RQ5 从参考图像中提取的风格码在无监督条件下，能否实现准确且多样的风格迁移？

主要发现

• 所提出的HiSD框架在CelebA-HQ上达到最先进性能，能跨多个属性与风格生成多样且逼真的翻译结果。
• 在提取的标签相关风格码之间插值可实现平滑过渡，证实了学习到的风格空间具有连续性与解耦性。
• t-SNE可视化显示，同一属性的风格码在嵌入空间中聚类在一起，即使未使用显式属性监督。
• 通过与StarGANv2和SDIT的定性对比，证实模型在翻译过程中成功避免了身份与背景的改变。
• 该框架支持潜在空间引导与基于参考图像的风格迁移，且在不同类型的属性操作中均保持一致性能。
• 消融研究证实，局部翻译器与标签无关判别器对减少不可控全局操作与提升解耦效果均至关重要。