[论文解读] MichiGAN: Multi-Input-Conditioned Hair Image Generation for Portrait Editing

Zhentao Tan, Menglei Chai+6 more|arXiv (Cornell University)|Oct 30, 2020

Generative Adversarial Networks and Image Synthesis参考文献 67被引用 11

一句话总结

MichiGAN 提出了一种多输入条件的 GAN 模型，用于交互式人像发型编辑，将发型解耦为四种正交属性——形状、结构、外观和背景，每种属性通过专用的条件模块进行控制。通过整合空间可变的掩码、方向图、外观编码网络以及掩码感知的背景编码器，该方法能够从草图、掩码或参考图像等直观输入中实现高保真、可控的发型生成，其图像质量与用户控制能力均优于当前最先进方法。

ABSTRACT

Despite the recent success of face image generation with GANs, conditional hair editing remains challenging due to the under-explored complexity of its geometry and appearance. In this paper, we present MichiGAN (Multi-Input-Conditioned Hair Image GAN), a novel conditional image generation method for interactive portrait hair manipulation. To provide user control over every major hair visual factor, we explicitly disentangle hair into four orthogonal attributes, including shape, structure, appearance, and background. For each of them, we design a corresponding condition module to represent, process, and convert user inputs, and modulate the image generation pipeline in ways that respect the natures of different visual attributes. All these condition modules are integrated with the backbone generator to form the final end-to-end network, which allows fully-conditioned hair generation from multiple user inputs. Upon it, we also build an interactive portrait hair editing system that enables straightforward manipulation of hair by projecting intuitive and high-level user inputs such as painted masks, guiding strokes, or reference photos to well-defined condition representations. Through extensive experiments and evaluations, we demonstrate the superiority of our method regarding both result quality and user controllability. The code is available at https://github.com/tzt101/MichiGAN.

研究动机与目标

• 为解决人像编辑中条件化、可控发型图像生成的挑战，其中发型复杂的几何结构与外观特征阻碍了精确操控。
• 将发型解耦为四种正交视觉属性——形状、结构、外观和背景，以实现独立且精确的用户控制。
• 设计针对每种发型属性感知与空间特性的条件模块，实现端到端、完全条件化的生成。
• 构建一个交互式系统，将直观的用户输入（如绘制的掩码、笔画、参考照片）映射为清晰、语义明确的条件表征。
• 实现高保真度的逼真发型生成，最大限度减少背景干扰，并实现与原始背景内容的无缝融合。

提出的方法

• 将发型解耦为四种正交属性：形状（模糊语义掩码）、结构（加权方向图）、外观（掩码变换的特征提取）、背景（带掩码感知融合的并行编码器）。
• 使用条件归一化层（如 AdaIN）根据空间可变的形状与结构条件调制特征图。
• 引入掩码变换的特征提取网络，将任意参考图像中的外观风格注入生成器的潜在空间。
• 实现一个并行的背景编码器，通过掩码引导的注意力机制逐步将背景特征注入生成器，以保留原始背景内容。
• 设计一个数据管道，结合合成数据增强（如掩码的随机膨胀/腐蚀）以提升模型对形状变化的鲁棒性。
• 采用对抗损失、感知损失与循环一致性损失的组合，以稳定训练并提升生成质量。

实验结果

研究问题

• RQ1 条件 GAN 模型能否在人像图像中实现发型生成的解耦化、多属性控制？
• RQ2 在统一的 GAN 框架中，如何有效建模并条件化形状、结构、外观与背景，以实现高保真编辑？
• RQ3 能否将如绘制掩码、笔画或参考图像等直观用户输入，映射为保留视觉一致性的有意义条件表征？
• RQ4 与朴素的特征融合基线相比，掩码引导的背景融合是否能更好地保留原始背景内容？
• RQ5 该模型在无需显式边界抠图或姿态适配的情况下，对多样化发型形状与外观的泛化能力如何？

主要发现

• 在真实世界人像数据集上的定量评估中，MichiGAN 的 FID 分数显著低于当前最先进方法，表明其生成图像质量更优。
• 所提出的掩码引导背景融合模块显著减少了背景泄漏，相比朴素融合基线更好地保留了原始背景内容。
• 该模型成功实现了对单个属性（外观、结构、形状）的解耦编辑，同时保持原始背景与面部身份不变。
• 联合操控多个属性（如同时改变发色与发质）是可行的，且能生成逼真、连贯的结果。
• 系统支持通过绘制掩码和引导笔画等直观输入实现交互式编辑，实现高视觉保真度的用户驱动定制。
• 局限性包括对形状掩码错位的敏感性，以及在处理空间变化的外观或极端笔画路径时存在挑战，提示在对齐与抠图方面仍有改进空间。