[论文解读] ImagineNet: Restyling Apps Using Neural Style Transfer

Michael Fischer, Richard R. Yang+1 more|arXiv (Cornell University)|Jan 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 4

一句话总结

ImagineNet 提出了一种新颖的神经风格迁移模型，通过在风格迁移目标函数中引入跨层非中心化交叉协方差损失项，实现了 GUI 可读性的保留，从而在保持清晰的物体边界和可读文本的同时，实现高保真度的艺术化纹理重着色。该方法在用户偏好研究中显著优于先前的技术。

ABSTRACT

This paper presents ImagineNet, a tool that uses a novel neural style transfer model to enable end-users and app developers to restyle GUIs using an image of their choice. Former neural style transfer techniques are inadequate for this application because they produce GUIs that are illegible and hence nonfunctional. We propose a neural solution by adding a new loss term to the original formulation, which minimizes the squared error in the uncentered cross-covariance of features from different levels in a CNN between the style and output images. ImagineNet retains the details of GUIs, while transferring the colors and textures of the art. We presented GUIs restyled with ImagineNet as well as other style transfer techniques to 50 evaluators and all preferred those of ImagineNet. We show how ImagineNet can be used to restyle (1) the graphical assets of an app, (2) an app with user-supplied content, and (3) an app with dynamically generated GUIs.

研究动机与目标

• 使终端用户和开发者能够使用任意选定的艺术作品对 GUI 进行重着色，同时保持可读性和界面功能。
• 解决现有神经风格迁移方法的关键局限：即导致 GUI 元素失真和文本不可读的问题。
• 通过整合卷积神经网络（CNN）各层之间的结构一致性，更全面地建模风格，而不仅限于纹理和颜色。
• 通过用户研究和真实世界应用的重着色场景，评估该方法的有效性。
• 证明将艺术风格应用于动态、用户生成及第三方 GUI 的可行性，且不破坏可用性。

提出的方法

• 基于预训练的 VGG19 网络中不同层之间特征的非中心化交叉协方差，提出一种新的损失项，用于建模结构化风格。
• 通过最小化风格图像与生成输出图像之间交叉协方差的平方误差，修改标准神经风格迁移目标函数。
• 通过强调特征层次结构的一致性，保留内容细节，确保物体边界和文本保持可读。
• 采用多尺度优化框架，模型以 1 的批量大小训练最多 10 小时，以获得高质量结果。
• 训练完成后支持实时推理，512×288 图像的转换时间为 3.02 ms，1920×1080 图像为 104.02 ms。
• 用户可在训练早期取消操作，若结果不理想，一分钟后内即可获得有意义的输出。

实验结果

研究问题

• RQ1 神经风格迁移模型能否在转移艺术风格的同时，保持 GUI 的可读性和物体边界？
• RQ2 引入跨层特征相关性是否能提升重着色 GUI 的结构一致性和视觉质量？
• RQ3 与现有方法相比，用户如何评价 ImagineNet 生成的重着色 GUI 的视觉质量和可用性？
• RQ4 哪些类型的艺术风格最适合用于 GUI 重着色？原因是什么？
• RQ5 该方法能否泛化应用于不同类型的应用程序，包括具有静态资源、用户内容和动态生成 UI 的应用？

主要发现

• 在 50 名评估者的用户研究中，所有参与者均更偏好 ImagineNet 生成的重着色 GUI，而非先前方法的结果。
• 96 种不同风格的平均用户评分介于 1.6 到 4.5 之间，其中 82 种风格评分高于 3，表明对风格质量存在强烈共识。
• 抽象表现主义、文艺复兴晚期、现代主义和波普艺术风格表现良好，因其具有鲜明的边缘和鲜艳的色彩。
• 行动绘画、字母主义、动力艺术和新古典主义风格表现较差，因其缺乏结构清晰度和明确的边界。
• 该方法实现了每像素 0.026 μs 的处理速度，512×288 GUI 图像平均处理时间为 3.02 ms，1920×1080 图像为 104.02 ms。
• 结构损失项至关重要：若无此损失项，即使增强了内容损失，风格迁移结果仍会显得不连贯，且文本不可读。