[论文解读] Kernel Stein Generative Modeling

Wei-Cheng Chang, Chunliang Li+2 more|arXiv (Cornell University)|Jul 6, 2020

Adversarial Robustness in Machine Learning参考文献 39被引用 4

一句话总结

该论文提出噪声条件核Stein变分梯度下降（NCK-SVGD），一种确定性、基于梯度的显式生成建模方法，通过学习噪声条件核并引入熵正则化，提升了SVGD在高维数据上的性能。其在CIFAR-10上实现了21.95的SOTA FID分数，与GAN性能相当，同时实现了样本质量与多样性的可控权衡。

ABSTRACT

We are interested in gradient-based Explicit Generative Modeling where samples can be derived from iterative gradient updates based on an estimate of the score function of the data distribution. Recent advances in Stochastic Gradient Langevin Dynamics (SGLD) demonstrates impressive results with energy-based models on high-dimensional and complex data distributions. Stein Variational Gradient Descent (SVGD) is a deterministic sampling algorithm that iteratively transports a set of particles to approximate a given distribution, based on functional gradient descent that decreases the KL divergence. SVGD has promising results on several Bayesian inference applications. However, applying SVGD on high dimensional problems is still under-explored. The goal of this work is to study high dimensional inference with SVGD. We first identify key challenges in practical kernel SVGD inference in high-dimension. We propose noise conditional kernel SVGD (NCK-SVGD), that works in tandem with the recently introduced Noise Conditional Score Network estimator. NCK is crucial for successful inference with SVGD in high dimension, as it adapts the kernel to the noise level of the score estimate. As we anneal the noise, NCK-SVGD targets the real data distribution. We then extend the annealed SVGD with an entropic regularization. We show that this offers a flexible control between sample quality and diversity, and verify it empirically by precision and recall evaluations. The NCK-SVGD produces samples comparable to GANs and annealed SGLD on computer vision benchmarks, including MNIST and CIFAR-10.

研究动机与目标

• 为解决标准SVGD在高维、多模态分布中因粒子坍缩和覆盖性差而导致的局限性。
• 通过将核函数适配至得分估计中的噪声水平，提升SVGD在复杂数据（如图像）上的可扩展性和性能。
• 通过熵正则化实现样本质量与多样性的灵活控制，经精度与召回率指标验证。
• 在显式生成建模中实现与GAN及自冷凝SGLD等随机MCMC方法相当的生成性能。
• 证明基于自适应核的确定性、基于梯度的采样可达到GAN等隐式模型的样本质量水平。

提出的方法

• NCK-SVGD通过自编码器实现噪声条件核学习，使核函数适配得分估计的噪声水平，从而在高维空间中提升稳定性和准确性。
• 结合噪声条件得分网络（NCSN）在不同噪声水平下估计得分函数，支持基于退火的采样。
• 采用带有噪声调度的退火SVGD，从噪声分布开始，逐步降低噪声以恢复数据分布。
• 引入熵正则化项，通过正则化常数β控制样本质量（精度）与多样性（召回率）之间的权衡，β为可调参数。
• 通过最小化KL散度的函数梯度下降更新粒子，使用噪声条件核函数的核化Stein差异。
• 通过噪声条件自编码器在码空间中学习核函数，捕捉不同噪声水平下的共享视觉特征，提升泛化能力。

实验结果

研究问题

• RQ1 SVGD能否在CIFAR-10等高维图像生成任务中有效扩展，克服标准SVGD因模式坍缩和核函数适应性差而失效的问题？
• RQ2 学习噪声条件核是否能显著提升SVGD在高维设置下的性能与稳定性？
• RQ3 在SVGD中引入熵正则化能否实现基于精度与召回率测量的样本质量与多样性之间的可控权衡？
• RQ4 在图像基准测试中，NCK-SVGD与GAN及自冷凝SGLD等SOTA模型相比，FID与Inception分数表现如何？
• RQ5 噪声退火与自适应核的结合能否在不依赖随机采样或对抗训练的前提下，实现确定性、高质量的图像生成？

主要发现

• NCK-SVGD在显式生成模型中于CIFAR-10上实现了21.95的新SOTA FID分数，优于自冷凝SGLD（25.32）及其他EGM方法。
• 该方法生成的样本质量与基于GAN的模型相当，在CIFAR-10上Inception得分为8.20，与SN-GAN等顶尖模型持平。
• 精度与召回率曲线表明，NCK-SVGD在高召回区域显著优于A-SGLD，表明其在数据流形覆盖与多样性方面表现更优。
• 熵正则化使样本多样性可灵活控制，β值越高，多样性越强，同时保持高质量样本。
• 使用A-SGLD 50%的样本作为初始化，NCK-SVGD的召回率高于A-SGLD，证明了噪声条件核与正则化的优势。
• 中间生成样本显示从噪声初始粒子到高保真图像的平滑渐进优化过程，验证了退火与核自适应过程的有效性。