[论文解读] Efficient and principled score estimation with Nyström kernel exponential families

Danica J. Sutherland, Heiko Strathmann+2 more|arXiv (Cornell University)|May 23, 2017

Statistical Methods and Inference参考文献 6被引用 3

一句话总结

本文提出了一种计算高效且统计上合理的算法，通过Nyström近似方法求解得分匹配问题，用于学习无限维指数族模型。通过利用低秩核近似，该方法在Fisher、$L^r$和Hellinger距离下的收敛速率与全秩解相当，同时保证计算成本和存储空间的显著降低，且在准确性、速度和可解释性方面优于启发式近似方法和基于自编码器的得分估计器。

ABSTRACT

We propose a fast method with statistical guarantees for learning an exponential family density model where the natural parameter is in a reproducing kernel Hilbert space, and may be infinite-dimensional. The model is learned by fitting the derivative of the log density, the score, thus avoiding the need to compute a normalization constant. Our approach improves the computational efficiency of an earlier solution by using a low-rank, Nyström-like solution. The new solution retains the consistency and convergence rates of the full-rank solution (exactly in Fisher distance, and nearly in other distances), with guarantees on the degree of cost and storage reduction. We evaluate the method in experiments on density estimation and in the construction of an adaptive Hamiltonian Monte Carlo sampler. Compared to an existing score learning approach using a denoising autoencoder, our estimator is empirically more data-efficient when estimating the score, runs faster, and has fewer parameters (which can be tuned in a principled and interpretable way), in addition to providing statistical guarantees.

研究动机与目标

• 开发一种快速、可扩展的方法，用于学习无限维指数族模型，且无需计算归一化常数。
• 解决全秩核指数族估计中计算成本（$\mathcal{O}(n^3d^3)$）和内存占用（$\mathcal{O}(n^2d^2)$）过高的问题。
• 为基于低秩Nyström的解法提供收敛性和近似误差的理论保证。
• 在数据效率、速度和可解释性方面，优于现有得分学习方法（如去噪自编码器）。
• 实现无限指数族在自适应哈密顿蒙特卡洛采样等实际应用中的可行部署。

提出的方法

• 该方法使用Nyström近似降低得分匹配解中核矩阵的秩，显著降低计算和存储成本。
• 对得分匹配目标采用Tikhonov正则化解法，避免计算难以处理的归一化常数。
• 通过选择$ m $个Nyström点来近似完整的核矩阵，其中$ m \sim n^{1/3}\log n $到$ n^{1/2}\log n $可保证收敛。
• 利用最近的最小二乘回归技术，直接通过Nyström基底控制泛化误差，推导出理论保证。
• 该方法在Fisher距离下保持与全秩解一致的相合性与收敛速率，在其他距离下收敛速率也几乎相同。
• 通过样本点处再生核Hilbert空间（RKHS）核函数的一阶和二阶导数定义线性系统，实现高效优化。

实验结果

研究问题

• RQ1 低秩Nyström近似能否保持全秩核指数族解的统计相合性与收敛速率？
• RQ2 当$ n \to \infty $时，为实现收敛，Nyström点的最小数量$ m $是多少？
• RQ3 近似误差如何随训练样本数$ n $和Nyström点数$ m $变化？
• RQ4 该方法能否在准确性和计算效率方面均优于启发式近似方法（如随机傅里叶特征）？
• RQ5 与基于深度学习的替代方法（如去噪自编码器）相比，该方法在数据效率和可解释性方面表现如何？

主要发现

• 在Fisher距离下，该方法的收敛速率与全秩解相同，且当$ m \sim n^{1/3}\log n $到$ n^{1/2}\log n $时可实现收敛。
• 在$ L^r $、Hellinger和KL距离下的收敛速度与全解相当或几乎相同，具体取决于密度的光滑性。
• 该方法在经验上比去噪自编码器得分估计器更具数据效率，参数更少且可解释性更强。
• 其运行速度远快于全秩解，在计算成本仅为全解一小部分的情况下，性能与以往启发式近似方法相当。
• 在自适应哈密顿蒙特卡洛采样中，学习到的得分函数可实现更高的接受率，证明了其实际应用价值。
• 泛化误差的理论界可直接从Nyström基底导出，避免了间接的重构误差论证。