[论文解读] NITES: A Non-Parametric Interpretable Texture Synthesis Method

Xuejing Lei, Ganning Zhao+1 more|arXiv (Cornell University)|Sep 2, 2020

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 10

一句话总结

NITES 提出了一种非参数化、可解释的纹理合成方法，通过通道级 Saab 变换逐级进行子空间嵌入，以建模纹理块的联合空间-光谱统计特性。该方法在显著更快的推理速度（256×256 图像仅需 213 秒）下实现了高质量、多样化的纹理生成，同时保持了数学上的透明性与较低的计算成本。

ABSTRACT

A non-parametric interpretable texture synthesis method, called the NITES method, is proposed in this work. Although automatic synthesis of visually pleasant texture can be achieved by deep neural networks nowadays, the associated generation models are mathematically intractable and their training demands higher computational cost. NITES offers a new texture synthesis solution to address these shortcomings. NITES is mathematically transparent and efficient in training and inference. The input is a single exemplary texture image. The NITES method crops out patches from the input and analyzes the statistical properties of these texture patches to obtain their joint spatial-spectral representations. Then, the probabilistic distributions of samples in the joint spatial-spectral spaces are characterized. Finally, numerous texture images that are visually similar to the exemplary texture image can be generated automatically. Experimental results are provided to show the superior quality of generated texture images and efficiency of the proposed NITES method in terms of both training and inference time.

研究动机与目标

• 解决基于深度学习的纹理合成方法中存在的数学不透明性与高计算成本问题。
• 为纹理合成开发一种非参数化、可解释的深度神经网络替代方案。
• 通过在联合空间-光谱空间中利用逐级子空间嵌入与概率建模，实现在训练与推理上的高效性。
• 仅使用块级统计量，从单一样本生成多样且视觉逼真的纹理图像。
• 证明数据驱动、透明的框架可在纹理合成质量上媲美甚至超越基于深度学习的方法。

提出的方法

• 该方法使用通道级（c/w）Saab 变换从纹理块中提取联合空间-光谱表征，实现逐级子空间学习。
• 构建子空间层级 S₀ ⊃ S₁ ⊃ ... ⊃ Sₙ，其中 S₀ 为扩展输入空间，Sₙ 为核心子空间，维度逐级降低。
• 在核心子空间中表征训练样本的概率分布，从而通过从学习到的分布中采样实现核心子空间的生成。
• 通过使用条件概率模型，递归地从低维子空间重建高维子空间，实现逐级子空间生成。
• 通过在核心子空间中生成块，逐级向上传播至各子空间，并利用拼接工艺（quilting）进行拼接，实现纹理图像的合成。
• 前向嵌入步骤仅需为每个样本执行一次；后续生成可复用该模型，从而实现快速推理。

实验结果

研究问题

• RQ1 非参数化、可解释的方法能否在保持数学透明性的同时，实现与深度学习相当的纹理合成质量？
• RQ2 通过通道级 Saab 变换实现的逐级子空间嵌入，如何提升纹理合成的效率与可解释性？
• RQ3 在低维核心子空间中进行概率建模，能否实现多样化且高质量的纹理生成？
• RQ4 在所提框架中，子空间维度与生成质量之间的权衡关系如何？
• RQ5 该框架能否扩展至其他图像生成任务，如图像修复或人脸生成？

主要发现

• NITES 生成的纹理图像质量高、视觉愉悦，且无深度学习方法（如 Gatys et al. [12]）中常见的‘棕色雾霾’等伪影。
• 对于 256×256 的图像，NITES 的纹理生成耗时为 213.04 秒，显著快于 Gatys et al. [12]（513.98 秒）和 Ustyuzhaninov et al. [17]（949.64 秒）。
• 反向生成过程（从核心子空间到源子空间）耗时 108.03 秒，前向嵌入耗时 24.24 秒，拼接耗时 8.08 秒，表明在初始设置后推理极为高效。
• 通过复用嵌入模型并重新运行生成与拼接步骤，NITES 可从单一样本生成多幅不同纹理图像。
• 该方法表明，基于逐级子空间学习的透明、非参数化框架可在合成质量上媲美深度学习，同时具备更高的可解释性与更低的计算成本。
• 该框架具有通用性，可扩展至其他图像生成任务，包括图像修复、人脸或物体合成等。