[论文解读] Neural Neighbor Style Transfer

Nicholas Kolkin, Michal Kučera+4 more|arXiv (Cornell University)|Mar 24, 2022

Generative Adversarial Networks and Image Synthesis被引用 12

一句话总结

Neural Neighbor Style Transfer (NNST) 通过使用余弦距离和特征向量匹配，用最近邻风格特征替换内容特征，从而在艺术风格迁移中实现了最先进的视觉质量。该方法提供两种变体：NNST-D（快速前馈）和NNST-Opt（基于优化），两者在保真度、多样性以及泛化能力方面均优于先前方法，且无需依赖引导或对齐的示例。

ABSTRACT

We propose Neural Neighbor Style Transfer (NNST), a pipeline that offers state-of-the-art quality, generalization, and competitive efficiency for artistic style transfer. Our approach is based on explicitly replacing neural features extracted from the content input (to be stylized) with those from a style exemplar, then synthesizing the final output based on these rearranged features. While the spirit of our approach is similar to prior work, we show that our design decisions dramatically improve the final visual quality.

研究动机与目标

• 通过改进基于特征的风格化，弥合神经风格迁移与基于图像块的风格迁移方法之间的视觉质量差距。
• 在保留细粒度风格细节（如笔触）的同时，消除风格迁移中对手动或自动引导的依赖。
• 实现高质量的风格化，且在无需领域特定对齐的情况下，可泛化至多样化的内容与风格图像。
• 通过新颖的特征匹配与预处理技术，在内容保留、风格保真度与视觉多样性之间实现平衡。

提出的方法

• 在特征空间中使用余弦距离，将内容图像的神经特征替换为风格样本中最近邻的特征。
• 对内容特征与风格特征均进行零均值化处理，以提升匹配的稳定性和质量。
• 通过逐向量匹配（而非图像块级别）进行迭代特征匹配，以增强局部细节的保留。
• 采用多尺度处理，并在最细尺度上重复优化，以提升特征的一致性。
• 通过端到端学习的解码器（NNST-D）或基于优化的像素精炼（NNST-Opt）生成最终图像。
• 通过在目标函数中添加加权相似性项，将方法扩展为支持可选引导（如语义分割掩码）。

实验结果

研究问题

• RQ1 是否有一种神经风格迁移方法可以在无需手动或自动引导的情况下，实现基于图像块的质量？
• RQ2 与基于图像块的匹配相比，逐特征向量匹配对风格化质量与细节保留的影响如何？
• RQ3 零均值化与余弦距离在多大程度上能提升特征匹配与视觉输出质量？
• RQ4 结合非参数化特征重排与参数化合成的混合方法，是否能同时实现高质量与高效率？
• RQ5 该方法在无需对齐或领域特定调优的情况下，如何在多样化的内容与风格图像间实现泛化？

主要发现

• NNST-D 在 512×512 输入下仅需数秒即可运行，其视觉质量与更慢的基于优化的方法相当或更优。
• NNST-Opt 的结果质量优于先前的 SOTA 方法，处理 512×512 输入需时超过 30 秒，并在 400 名参与者的用户研究中被确认为更优。
• 该方法在高分辨率下显著提升了纹理与笔触的保真度，在定性比较中优于先前的神经方法。
• 结合余弦距离与零均值化的特征向量匹配，显著提升了视觉多样性与风格准确性的度量表现。
• 在使用引导（如语义分割掩码）时，NNST 实现了语义上有意义的风格迁移，在保留风格细节方面优于其他神经方法。
• 将 NNST-Opt 与基于图像块的合成方法（如 Fišer 等人提出的方法）结合，可实现 4K 输出，同时保留高频细节，且 NNST 在中等尺度结构迁移方面表现尤为出色。