[论文解读] Example-Based Image Synthesis via Randomized Patch-Matching

Yi Ren, Yaniv Romano+1 more|arXiv (Cornell University)|Sep 23, 2016

Generative Adversarial Networks and Image Synthesis参考文献 1被引用 5

一句话总结

本文提出一种基于补丁的、金字塔形的图像合成方法，通过随机补丁匹配生成高质量、新颖的手写数字和人脸图像。通过迭代地从数据库中随机采样并合并补丁来逐步提升图像分辨率，该方法实现了视觉上连贯的结果，既具有原创性又与训练数据在统计上相似，同时引入了一套结合似然度、原创性和分布度的新型评估框架。

ABSTRACT

Image and texture synthesis is a challenging task that has long been drawing attention in the fields of image processing, graphics, and machine learning. This problem consists of modelling the desired type of images, either through training examples or via a parametric modeling, and then generating images that belong to the same statistical origin. This work addresses the image synthesis task, focusing on two specific families of images -- handwritten digits and face images. This paper offers two main contributions. First, we suggest a simple and intuitive algorithm capable of generating such images in a unified way. The proposed approach taken is pyramidal, consisting of upscaling and refining the estimated image several times. For each upscaling stage, the algorithm randomly draws small patches from a patch database, and merges these to form a coherent and novel image with high visual quality. The second contribution is a general framework for the evaluation of the generation performance, which combines three aspects: the likelihood, the originality and the spread of the synthesized images. We assess the proposed synthesis scheme and show that the results are similar in nature, and yet different from the ones found in the training set, suggesting that true synthesis effect has been obtained.

研究动机与目标

• 开发一种简单且统一的算法，利用基于补丁的建模方法生成逼真的手写数字和人脸图像。
• 解决通过局部匹配补丁生成全局一致图像的挑战，避免补丁融合过程中的伪影。
• 提出一个全面的评估框架，超越像素级度量，综合衡量合成图像的质量、似然度、原创性和多样性。
• 证明该方法生成的图像在视觉上合理，与训练数据不同，且忠实于底层数据分布。

提出的方法

• 该方法采用金字塔形的分辨率提升策略，通过多个阶段逐步提高图像分辨率。
• 在每个阶段，从预先构建的训练补丁数据库中随机采样小块图像。
• 通过随机匹配过程合并补丁，以确保空间一致性并最小化视觉伪影。
• 使用基于补丁的似然模型评估生成补丁的合理性，通过从训练数据中估计协方差矩阵以捕捉局部统计特性。
• 评估框架结合了三种度量：对数似然度（模型拟合度）、原创性（与训练集的差异度）和分布度（数据流形的覆盖范围）。
• 通过数值容差处理局部协方差矩阵的秩估计，以避免病态问题，σ = 1/√(2π) 的选择使得似然度计算与秩估计无关。

实验结果

研究问题

• RQ1 是否可以仅通过简单、基于补丁的方法，在不使用深度学习的情况下生成高质量、多样化的手写数字和人脸图像？
• RQ2 如何有效利用补丁匹配技术，通过迭代提升分辨率实现连贯的高分辨率图像合成？
• RQ3 在标准L2损失之外，哪些度量最能有效评估合成图像的质量、原创性和多样性？
• RQ4 合成图像在在多大程度上反映了训练数据的统计特性，同时又与之保持足够差异？

主要发现

• 所提出的方法成功生成了在视觉上逼真、感知连贯且结构合理的数字和人脸图像。
• 合成图像表现出高度原创性，与训练样本重叠极少，表明其具备真正的生成能力而非记忆。
• 评估框架表明，该方法在似然度（模型拟合）、原创性（多样性）和分布度（数据流形覆盖）之间实现了良好的平衡。
• σ = 1/√(2π) 的选择确保了似然度计算的数值稳定性和中立性，且与秩估计无关。
• 实证结果表明，该方法在视觉质量和多样性方面优于基线补丁匹配方法，尤其在人脸和数字图像合成方面表现更优。