[论文解读] Kernel Implicit Variational Inference

Jiaxin Shi, Shengyang Sun+1 more|arXiv (Cornell University)|May 29, 2017

Gaussian Processes and Bayesian Inference参考文献 36被引用 7

一句话总结

Kernel Implicit Variational Inference (KIVI) 是一种新型的隐式变分推断方法，通过基于核的密度比估计，实现了在无显式密度表达式的情况下稳定且计算可行的变分后验训练。KIVI 在贝叶斯神经网络和变分自编码器中实现了最先进性能，通过实现更紧的下界和减少过拟合，成功应用于 MNIST 和 CelebA 上的高维模型如 BNNs 和 VAEs。

ABSTRACT

Recent progress in variational inference has paid much attention to the flexibility of variational posteriors. One promising direction is to use implicit distributions, i.e., distributions without tractable densities as the variational posterior. However, existing methods on implicit posteriors still face challenges of noisy estimation and computational infeasibility when applied to models with high-dimensional latent variables. In this paper, we present a new approach named Kernel Implicit Variational Inference that addresses these challenges. As far as we know, for the first time implicit variational inference is successfully applied to Bayesian neural networks, which shows promising results on both regression and classification tasks.

研究动机与目标

• 解决现有隐式变分推断（IVI）方法在应用于高维模型（如贝叶斯神经网络，BNNs）时存在的不稳定性和计算不可行性问题。
• 开发一种系统化的方法来调节隐式变分推断中的偏差-方差权衡，避免依赖噪声较大的判别器基估计器。
• 使变分后验中能够使用灵活的非可逆变换，从而将变分族的表达能力扩展至超越因子化或归一化流方法的范围。
• 证明隐式变分推断在全局（BNNs）和局部（VAEs）潜变量模型中的可行性和有效性，特别是在减少过拟合和改善似然估计方面。

提出的方法

• KIVI 用基于核的密度比估计器替代了基于判别器的密度比估计，对密度比 $ \frac{q_\phi(\mathbf{z})}{p(\mathbf{z})} $ 的估计提供了更稳定且具有明确理论基础的近似。
• 该方法使用核化估计器来估计变分后验 $ q_\phi(\mathbf{z}) $ 与先验 $ p(\mathbf{z}) $ 之间的 KL 散度，避免了显式密度评估的需求。
• 它采用再生核希尔伯特空间（RKHS）框架，将变分目标形式化为一个函数优化问题，从而在无需显式密度表达式的情况下实现基于梯度的优化。
• 该方法引入了两个超参数——$ \lambda $ 用于控制偏差-方差权衡，以及一个截断值用于数值稳定性，两者均具有清晰的可解释性。
• KIVI 兼容全局和局部潜变量模型，可应用于具有高维潜空间的 BNNs 和 VAEs。
• 该方法避免了训练独立的判别器网络，降低了计算成本，并消除了基于 GAN 的隐式变分推断中常见的超参数敏感性问题。

实验结果

研究问题

• RQ1 隐式变分推断能否在高维模型（如贝叶斯神经网络）中实现稳定且可扩展？
• RQ2 基于核的密度比估计器是否能为隐式变分推断提供比基于判别器的方法更可靠的替代方案，特别是在偏差-方差控制方面？
• RQ3 通过非可逆变换构建的隐式后验能否在泛化能力和似然估计方面超越标准的均值场或归一化流后验？
• RQ4 与标准 VAE 相比，隐式变分推断在变分自编码器中在多大程度上减少了过拟合？
• RQ5 在 CelebA 等大规模数据集上，KIVI 与对抗变分贝叶斯（AVB）相比，在训练稳定性、样本质量和 FID 分数方面表现如何？

主要发现

• KIVI 首次成功实现了在贝叶斯神经网络中的隐式变分推断，在回归和分类任务中均取得了优异性能。
• 在二值化 MNIST 数据集上，KIVI 缩小了训练与测试下界之间的泛化差距，测试对数似然达到 -94.8，优于标准 VAE 的 -97.3。
• 在 CelebA 上，KIVI 经过 25 个周期训练后，Fréchet Inception Distance（FID）得分达到 41，显著优于 AVB 在相同架构和训练设置下的 FID 得分 160。
• 在 CelebA 上的插值实验表明，KIVI 生成的图像过渡更加平滑且清晰，表明其潜在空间更具解耦性和结构性。
• 与 AVB 不同，KIVI 无需对判别器进行超参数调优，而 AVB 需要显式添加对数先验到判别器并进行精心的网络架构设计。
• 该方法在高维潜变量上表现出计算可行性，克服了以往基于 GAN 的隐式变分推断方法的关键局限。