[论文解读] Multi-Mapping Image-to-Image Translation with Central Biasing Normalization

Xiaoming Yu, Zhenqiang Ying+3 more|arXiv (Cornell University)|Jun 26, 2018

Advanced Vision and Imaging参考文献 63被引用 9

一句话总结

本文提出了一种新型归一化技术——中心偏置归一化（Central Biasing Normalization, CBN），以稳定多映射图像到图像翻译模型中的潜在码注入，解决了传统批量归一化或实例归一化导致的模式崩溃问题。通过根据潜在码对特征图统计量进行对齐，CBN 在 StarGAN、BicycleGAN 和 pix2pix 等模型中均提升了图像的多样性与质量，同时实现更快的收敛速度，并降低对网络架构选择的敏感性。

ABSTRACT

Recent advances in image-to-image translation have seen a rise in approaches generating diverse images through a single network. To indicate the target domain for a one-to-many mapping, the latent code is injected into the generator network. However, we found that the injection method leads to mode collapse because of normalization strategies. Existing normalization strategies might either cause the inconsistency of feature distribution or eliminate the effect of the latent code. To solve these problems, we propose the consistency within diversity criteria for designing the multi-mapping model. Based on the criteria, we propose central biasing normalization to inject the latent code information. Experiments show that our method can improve the quality and diversity of existing image-to-image translation models, such as StarGAN, BicycleGAN, and pix2pix.

研究动机与目标

• 解决由于标准归一化层导致的特征分布不一致，从而在多映射图像到图像翻译中引发的模式崩溃问题。
• 识别潜在码注入不稳定的根源，特别是批量归一化或实例归一化对潜在码影响的干扰。
• 确立多样性标准的一致性作为鲁棒多映射模型的设计原则。
• 开发一种归一化方法——中心偏置归一化（CBN），通过将潜在码信息直接注入归一化统计量，实现稳定、解耦且多样的生成。

提出的方法

• 该方法将卷积输出分解为受潜在码影响的均值分量和残差分量，表明潜在码作为特征图均值的偏移量起作用。
• 中心偏置归一化（CBN）通过从潜在码学习一个可学习的偏置向量来替代标准归一化层，以调整批量归一化统计量，确保每种目标映射的特征分布保持一致。
• CBN 通过将潜在码应用于批量归一化层的运行均值和方差的缩放与偏移，集成到生成器网络中，从而实现对输出分布的显式控制。
• 该方法与网络架构无关，且除潜在码嵌入外无需额外参数，因此可轻松集成到现有模型中。
• 通过在 StarGAN、BicycleGAN 和 pix2pix 上进行消融实验，验证了 CBN 与标准潜在码注入结合批量/实例归一化的对比效果。
• 结果表明，CBN 可减少内部协变量偏移，提升训练稳定性，从而实现更快收敛和更低的重建损失。

实验结果

研究问题

• RQ1 在多映射图像到图像翻译中，潜在码如何影响卷积层中特征图的均值？
• RQ2 为何标准归一化层（如批量归一化或实例归一化）会导致基于潜在码模型的模式崩溃和输出不一致？
• RQ3 为确保潜在码能有效控制多样化的输出映射而不破坏特征分布，需要哪些设计原则？
• RQ4 能否设计一种归一化策略，使潜在码注入在不同网络架构和超参数下均保持稳定？

主要发现

• CBN 显著提升了 label2photo 和面部属性迁移任务中生成图像的多样性，感知距离得分相比标准潜在码注入最高提升 15%。
• BicycleGAN 的收敛速度因 CBN 而加快，在损失曲线对比中显示更早达到更低的重建损失。
• 即使在 pix2pix 中注入随机高斯噪声作为潜在码，CBN 配合 dropout 和增大潜在码维度也能提升多样性，优于标准方法。
• CBN 对架构选择（如填充策略、归一化类型、潜在码维度）具有鲁棒性，显著降低对超参数调优的敏感性。
• 该方法减少了生成器中的内部协变量偏移，带来更稳定的训练动态，并在多个数据集上实现更好的泛化性能。
• 在定性和定量评估中，CBN 在捕捉细微风格和属性变化方面均优于基线模型（如 BicycleGAN 和 StarGAN）。