[论文解读] Instance Normalization: The Missing Ingredient for Fast Stylization

Dmitry Ulyanov, Andrea Vedaldi+1 more|arXiv (Cornell University)|Jul 27, 2016

Handwritten Text Recognition Techniques参考文献 3被引用 3,103

一句话总结

本文显示，将批量归一化替换为实例归一化在快速风格化生成器中（并在测试时应用）能在实时风格化中显著提高图像质量。

ABSTRACT

It this paper we revisit the fast stylization method introduced in Ulyanov et. al. (2016). We show how a small change in the stylization architecture results in a significant qualitative improvement in the generated images. The change is limited to swapping batch normalization with instance normalization, and to apply the latter both at training and testing times. The resulting method can be used to train high-performance architectures for real-time image generation. The code will is made available on github at https://github.com/DmitryUlyanov/texture_nets. Full paper can be found at arXiv:1701.02096.

研究动机与目标

• 通过改进生成器架构质量来推动实时风格迁移。
• 研究在架构中是否可以高效实现对比度归一化。
• 证明实例归一化在风格化结果上优于批量归一化。

提出的方法

• 在风格化生成网络中用实例归一化层替换批量归一化层。
• 在训练和测试阶段都应用实例归一化（不冻结或移除）。
• 使用与以往快速风格化方法相同的生成器架构，并重新训练以使用实例归一化。
• 直观地说明实例归一化会去除实例特定的对比信息，以简化生成。
• 在两种生成器架构之间比较性能，以评估修改的普遍性。

实验结果

研究问题

• RQ1 实例归一化是否在与批量归一化相比提升快速风格化的质量？
• RQ2 在测试时应用实例归一化是否对达到更高质量的风格化重要？
• RQ3 不同的生成器架构在这项任务中是否都从实例归一化中受益？

主要发现

• 用实例归一化替代批量归一化在所测试的架构中显著提升风格化质量。
• Ulyanov 等人（2016）和 Johnson 等人（2016）的生成网络从实例归一化中获得的好处类似。
• 在训练和测试时使用实例归一化的效果优于保持批量归一化行为。
• 更高效的残差架构（Johnson 等人，2016）在切换到实例归一化后仍然更有利。