[论文解读] A Learned Representation For Artistic Style

Vincent Dumoulin, Jonathon Shlens+1 more|arXiv (Cornell University)|Oct 24, 2016

Aesthetic Perception and Analysis被引用 749

一句话总结

这篇论文引入条件实例规范化，以训练一个单一的多风格前馈式风格迁移网络，在一个嵌入中捕捉多种绘画风格，并实现任意风格混合以及使用少量参数快速引入新风格。

ABSTRACT

The diversity of painting styles represents a rich visual vocabulary for the construction of an image. The degree to which one may learn and parsimoniously capture this visual vocabulary measures our understanding of the higher level features of paintings, if not images in general. In this work we investigate the construction of a single, scalable deep network that can parsimoniously capture the artistic style of a diversity of paintings. We demonstrate that such a network generalizes across a diversity of artistic styles by reducing a painting to a point in an embedding space. Importantly, this model permits a user to explore new painting styles by arbitrarily combining the styles learned from individual paintings. We hope that this work provides a useful step towards building rich models of paintings and offers a window on to the structure of the learned representation of artistic style.

研究动机与目标

• 激发学习一种简约的艺术风格表示，超越逐风格网络。
• 展示通过风格参数嵌入，单一网络可以建模多种风格。
• 演示通过对有限参数进行微调，可以高效地添加新风格。
• 说明该嵌入允许任意风格组合以及风格之间的插值。

提出的方法

• 采用风格迁移网络架构，并按神经风格迁移中的风格损失和内容损失进行训练。
• 引入条件实例规范化，其中 gamma 和 beta 依赖于风格并作为矩阵学习，每个风格一行。
• 在风格之间共享几乎所有网络权重，只学习风格特定的仿射参数。
• 通过仅更新少量参数而保持其他参数不变，来演示可以添加新风格。
• 显示风格参数的凸组合能产生风格之间的插值化拼贴。

实验结果

研究问题

• RQ1 具有共享权重的单一网络是否能够有效建模多种艺术风格？
• RQ2 条件实例规范化如何在很少的风格特定参数下实现多风格表示？
• RQ3 是否可以通过仅微调风格条件参数来高效添加新风格？
• RQ4 是否可以通过学习的风格嵌入任意组合风格？
• RQ5 多风格网络的性能是否接近单独训练的单风格网络？

主要发现

• 在10个 Monet 风格上训练的单个网络，捕捉到多样的色彩调色板和纹理，跨风格共享参数占比 99.8%（每风格 0.2%）。
• 多风格网络在风格迁移质量方面达到与独立训练的单风格模型相当的水平。
• 通过在保持权重固定的情况下微调 gamma 和 beta 来整合新风格，收敛速度比从头训练更快。
• 学习到的风格嵌入支持任意的风格凸组合，从而创造新的拼贴。
• 该方法可扩展至32种多样化风格，且在训练和内存使用方面保持高效。