[论文解读] CLIP-based Neural Neighbor Style Transfer for 3D Assets

Shailesh Mishra, Jonathan Granskog|arXiv (Cornell University)|Aug 8, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了一种基于CLIP的神经邻域风格迁移方法，用于3D资产，通过可微分渲染器和基于CLIP-ResNet50的最近邻特征匹配损失来优化纹理外观。该方法在纹理风格迁移方面优于基于VGG的方法，支持多张风格图像，并可通过自动提取或手动输入实现色彩调色板控制，生成与传统渲染器兼容的高质量风格化3D渲染效果。

ABSTRACT

We present a method for transferring the style from a set of images to a 3D object. The texture appearance of an asset is optimized with a differentiable renderer in a pipeline based on losses using pretrained deep neural networks. More specifically, we utilize a nearest-neighbor feature matching loss with CLIP-ResNet50 to extract the style from images. We show that a CLIP- based style loss provides a different appearance over a VGG-based loss by focusing more on texture over geometric shapes. Additionally, we extend the loss to support multiple images and enable loss-based control over the color palette combined with automatic color palette extraction from style images.

研究动机与目标

• 为解决在传统3D渲染器中自动、基于图像的3D资产纹理风格化挑战。
• 通过利用CLIP-ResNet50改进基于VGG的风格迁移方法，使重点聚焦于纹理而非几何形状。
• 将最近邻特征匹配（NNFM）扩展至支持多张风格图像，并集成色彩调色板控制以提升艺术灵活性。
• 实现高保真度风格迁移，在保留内容的同时从2D概念艺术中迁移复杂纹理风格。

提出的方法

• 该方法使用可微分渲染器，通过最小化复合损失函数来优化3D纹理外观。
• 采用基于CLIP-ResNet50特征的最近邻特征匹配（NNFM）损失，通过比较渲染图像与风格图像的特征向量来匹配风格。
• 损失函数计算每个渲染特征向量与其在风格特征集中最近邻的余弦距离，忽略空间位置。
• 基于VGG16的内容损失用于保留原始纹理的结构特征，如眼睛或面部细节。
• 色彩调色板损失通过K均值聚类实现自动提取，将纹理约束为匹配提取或用户提供的色彩调色板。
• 通过在NNFM计算中拼接多张风格图像的特征向量，实现对多张风格图像的支持，从而丰富风格表征。

实验结果

研究问题

• RQ1 基于CLIP-ResNet50的最近邻特征匹配是否能在3D纹理上实现比基于VGG16的方法更精确的纹理风格迁移？
• RQ2 使用多张风格图像如何影响风格化输出的多样性与质量？
• RQ3 色彩调色板控制在多大程度上能改善风格化结果并提升艺术灵活性？
• RQ4 与基于Gram矩阵或基于VGG的损失相比，基于CLIP的损失是否能更好地捕捉纹理外观？

主要发现

• 与基于VGG16的NNFM相比，基于CLIP-ResNet50的NNFM能产生更具纹理感的外观，后者往往更强调笔触和几何图案。
• 基于CLIP的损失成功迁移了绘画式和纹理式风格，而基于VGG16的方法则更擅长保留线条类特征（如长笔触）。
• 结合K均值聚类的色彩调色板损失能够实现与风格图像的精确色彩匹配，并支持手动覆盖以实现艺术控制。
• 在NNFM损失中引入多张风格图像可提升视觉多样性，并在风格化输出中引入新图案与色彩变化。
• 内容损失有效保留了牛脸等显著特征，防止优化过程中的退化。
• 该方法生成的风格化3D资产可直接使用传统3D渲染器进行渲染，支持在生产工作流中的实际集成。