[论文解读] GENHOP: An Image Generation Method Based on Successive Subspace Learning

Xuejing Lei, Wei Wang+1 more|arXiv (Cornell University)|Oct 7, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

GENHOP 是一种基于连续子空间学习的非深度学习图像生成方法，通过降维、使用白色高斯噪声生成种子图像，以及利用局部线性嵌入（LLE）和逆变换逐步恢复细节，生成高质量图像。该方法在 MNIST、Fashion-MNIST 和 CelebA 数据集上实现了最先进的 FID 分数，优于许多基于深度学习的模型。

ABSTRACT

Being different from deep-learning-based (DL-based) image generation methods, a new image generative model built upon successive subspace learning principle is proposed and named GenHop (an acronym of Generative PixelHop) in this work. GenHop consists of three modules: 1) high-to-low dimension reduction, 2) seed image generation, and 3) low-to-high dimension expansion. In the first module, it builds a sequence of high-to-low dimensional subspaces through a sequence of whitening processes, each of which contains samples of joint-spatial-spectral representation. In the second module, it generates samples in the lowest dimensional subspace. In the third module, it finds a proper high-dimensional sample for a seed image by adding details back via locally linear embedding (LLE) and a sequence of coloring processes. Experiments show that GenHop can generate visually pleasant images whose FID scores are comparable or even better than those of DL-based generative models for MNIST, Fashion-MNIST and CelebA datasets.

研究动机与目标

• 开发一种非深度学习图像生成模型，以避免基于深度学习方法的黑箱特性。
• 解决从复杂、高维像素相关性中生成真实感图像的挑战。
• 通过结构化的子空间学习和可逆变换，实现可数学解释的图像生成。
• 在图像质量和多样性方面，实现与最先进基于深度学习的生成模型相当或更优的性能。
• 探索在无需端到端深度学习的情况下，生成高分辨率和语义有意义图像的可行性。

提出的方法

• GENHOP 使用一系列通道独立的 Saab 变换，实现从高维到低维的降维，创建相关性降低的连续子空间。
• 在最低维子空间中使用白色高斯噪声生成种子图像，以确保多样性与统计可处理性。
• 在维度扩展阶段，通过局部线性嵌入（LLE）恢复高频分量，以恢复空间细节。
• 应用逆 Saab 变换，以恢复像素级相关性，并从低维表示重建全分辨率图像。
• 该方法通过多个阶段的降维与扩展处理图像，实现图像结构与纹理的逐步优化。
• 对于彩色图像（CelebA），采用逐像素主成分分析（PCA）解耦 RGB 通道，并对两个主要分量（P 和 Q）应用 LLE 以重建第三个分量（R）。

实验结果

研究问题

• RQ1 非深度学习图像生成模型能否实现与最先进基于深度学习的模型相当或更优的性能？
• RQ2 如何利用连续子空间学习在无需端到端训练的情况下生成多样且逼真的图像？
• RQ3 在维度扩展过程中，局部线性嵌入（LLE）在恢复细粒度图像细节方面能达到何种程度？
• RQ4 逆 Saab 变换能否有效恢复降维过程中丢失的空间-光谱相关性？
• RQ5 该方法在不同复杂度的数据集（如 MNIST、Fashion-MNIST 和 CelebA）上的表现如何？

主要发现

• GENHOP 在 MNIST 数据集上实现了 5.1 的最低 FID 分数，优于比较中列出的所有其他模型。
• 在 Fashion-MNIST 上，GENHOP 的 FID 得分为 18.1，在所有模型中排名第二，且在捕捉纹理和类别特异性细节方面表现强劲。
• 在 CelebA 上，GENHOP 的 FID 得分为 40.3，排名第二，大多数生成图像具有语义意义且逼真。
• 该方法成功生成了多样且结构准确的 MNIST 数字，样本间形状清晰且一致。
• Fashion-MNIST 上生成的图像展现出鞋履上的真实纹理和 T 恤上准确的印刷效果，表明细节恢复有效。
• 主要局限性在于 CelebA 样本中偶尔出现不自然的着色，归因于 LLE 的局部特性以及重建过程中缺乏全局上下文。