[论文解读] A Spectral Approach to Gradient Estimation for Implicit Distributions

Jiaxin Shi, Shengyang Sun+1 more|arXiv (Cornell University)|Jun 7, 2018

Model Reduction and Neural Networks参考文献 36被引用 23

一句话总结

本文提出了一种名为谱Stein梯度估计器（SSGE）的新方法，通过核算子的谱分解与Nystrom近似，实现对隐式分布梯度的估计。与以往仅在采样点处估计梯度的方法不同，SSGE可直接估计完整的梯度函数，从而实现有原则的样本外扩展，并在无梯度哈密顿蒙特卡洛和隐式模型的变分推断中表现出更优性能。

ABSTRACT

Recently there have been increasing interests in learning and inference with implicit distributions (i.e., distributions without tractable densities). To this end, we develop a gradient estimator for implicit distributions based on Stein's identity and a spectral decomposition of kernel operators, where the eigenfunctions are approximated by the Nyström method. Unlike the previous works that only provide estimates at the sample points, our approach directly estimates the gradient function, thus allows for a simple and principled out-of-sample extension. We provide theoretical results on the error bound of the estimator and discuss the bias-variance tradeoff in practice. The effectiveness of our method is demonstrated by applications to gradient-free Hamiltonian Monte Carlo and variational inference with implicit distributions. Finally, we discuss the intuition behind the estimator by drawing connections between the Nyström method and kernel PCA, which indicates that the estimator can automatically adapt to the geometry of the underlying distribution.

研究动机与目标

• 为解决隐式分布的梯度估计挑战，此类分布缺乏可 tractable 的密度函数，仅通过采样定义。
• 克服现有梯度估计器仅提供观测样本点处估计值的局限，缺乏样本外泛化能力。
• 利用谱分解与核方法，开发一种有原则的、函数级别的梯度估计器，以提升在优化与推断中的广泛应用性。
• 建立理论误差界，并分析估计器性能中的偏差-方差权衡。
• 将估计器行为与核主成分分析（kernel PCA）相联系，提示其对数据几何结构的内在适应性，以及潜在的降维优势。

提出的方法

• 该方法利用Stein恒等式，将对数密度的梯度与基于核算子的特征函数相关的积分算子联系起来。
• 对核算子执行谱分解，其中特征函数在底层分布下正交，并构成表示梯度函数的基。
• 利用Nystrom方法近似这些特征函数，该方法利用有限个样本估计完整的函数形式。
• 将梯度估计器构建为这些近似特征函数的线性组合，从而实现在输入空间中平滑、连续的估计。
• 通过在新点处使用相同基函数评估相同函数形式，该方法自然支持样本外扩展。
• 该方法与核主成分分析（kernel PCA）相联系，提示估计器能自适应地匹配数据流形的内在几何结构，减轻维度灾难的影响。

实验结果

研究问题

• RQ1 基于核算子特征函数的谱方法，是否能为隐式分布提供比现有方法更原则化且更具泛化能力的梯度估计器？
• RQ2 所提出的估计器的样本外能力与仅限于样本点的先前方法相比如何？
• RQ3 谱梯度估计器的理论误差界是什么？其在实际中如何平衡偏差与方差？
• RQ4 与核主成分分析（kernel PCA）的联系在多大程度上解释了估计器对数据几何结构的鲁棒性与自适应性？
• RQ5 该方法能否扩展以学习更优的核函数或特征函数，从而进一步提升估计精度？

主要发现

• 谱Stein梯度估计器（SSGE）直接估计梯度函数，而非仅点值，从而实现有原则的样本外扩展。
• 理论分析为估计器提供了误差界，为理解其收敛性与稳定性提供了原则性框架。
• 该方法在无梯度哈密顿蒙特卡洛与隐式分布的变分推断中表现出更优性能，优于基线方法。
• SSGE与核主成分分析（kernel PCA）之间的联系表明，估计器能自动适应数据的内在几何结构，减轻高维性的影响。
• 对特征函数的Nystrom近似实现了高效计算，同时保持了梯度估计在整个输入空间上的函数形式。
• 该方法通过核函数与正则化的选择，自然揭示了偏差-方差权衡，理论洞察为实际设计提供了指导。