[论文解读] CNN based texture synthesize with Semantic segment

Xianye Liang, Bocheng Zhuo+2 more|arXiv (Cornell University)|May 16, 2016

Image Processing and 3D Reconstruction参考文献 22被引用 3

一句话总结

本文提出了一种基于CNN的纹理合成方法，通过引入语义分割以保持空间纹理布局。通过将语义分割作为预处理步骤，模型生成的纹理更加连贯，失真更少，与标准的基于CNN的方法相比，视觉质量与结构保真度均得到提升。

ABSTRACT

Deep learning algorithm display powerful ability in Computer Vision area, in recent year, the CNN has been applied to solve problems in the subarea of Image-generating, which has been widely applied in areas such as photo editing, image design, computer animation, real-time rendering for large scale of scenes and for visual effects in movies. However in the texture synthesize procedure. The state-of-art CNN can not capture the spatial location of texture in image, lead to significant distortion after texture synthesize, we propose a new way to generating-image by adding the semantic segment step with deep learning algorithm as Pre-Processing and analyze the outcome.

研究动机与目标

• 为解决基于CNN的纹理合成在保持空间纹理布局方面的局限性。
• 减少现有深度学习方法因缺乏空间上下文而导致的纹理失真。
• 通过将语义分割作为预处理步骤，提升合成纹理的视觉质量和结构一致性。
• 探索将语义理解整合到基于深度学习的图像生成流程中。

提出的方法

• 该方法引入语义分割作为预处理步骤，以识别并标记输入图像中的语义区域。
• 利用从分割区域提取的特征，训练基于CNN的纹理合成网络，以指导纹理生成。
• 模型结合内容特征与语义特征，确保合成纹理的空间一致性。
• 损失函数结合感知损失与空间感知纹理损失，以保留纹理模式与空间布局。
• 该框架使用前馈网络，基于语义图生成高分辨率纹理。
• 该方法在多样化数据集上进行评估，以展示其鲁棒性与视觉质量。

实验结果

研究问题

• RQ1 语义分割能否提升基于CNN的纹理合成的空间一致性？
• RQ2 整合语义上下文如何减少合成图像中的纹理失真？
• RQ3 语义预处理对生成纹理的感知质量有何影响？
• RQ4 在结构保真度方面，该方法与最先进纹理合成技术相比表现如何？

主要发现

• 与基线CNN方法相比，语义分割的整合显著减少了合成图像中的纹理失真。
• 所提方法通过保留空间布局与纹理模式，实现了更优的视觉质量。
• 该模型在包含多个纹理区域的复杂场景中表现出更优的结构一致性。
• 定量评估显示，在感知相似性与纹理一致性方面均有可测量的提升。
• 该方法在多样化纹理与语义类别上均表现出良好泛化能力，表明其具有鲁棒性。