[论文解读] Bayesian Inference of Log Determinants

Jack Fitzsimons, Kurt Cutajar+3 more|arXiv (Cornell University)|Apr 5, 2017

Gaussian Processes and Bayesian Inference参考文献 22被引用 10

一句话总结

该论文提出了一种贝叶斯推断框架，通过将矩阵幂的噪声随机迹估计建模为高斯过程观测值，来估计大规模核矩阵的对数行列式。利用贝叶斯积分法，该方法同时提供点估计和不确定性量化，其精度优于最先进方法，且提供的不确定性估计在24次试验中有23次能将真实误差控制在两个标准差之内。

ABSTRACT

The log-determinant of a kernel matrix appears in a variety of machine learning problems, ranging from determinantal point processes and generalized Markov random fields, through to the training of Gaussian processes. Exact calculation of this term is often intractable when the size of the kernel matrix exceeds a few thousand. In the spirit of probabilistic numerics, we reinterpret the problem of computing the log-determinant as a Bayesian inference problem. In particular, we combine prior knowledge in the form of bounds from matrix theory and evidence derived from stochastic trace estimation to obtain probabilistic estimates for the log-determinant and its associated uncertainty within a given computational budget. Beyond its novelty and theoretic appeal, the performance of our proposal is competitive with state-of-the-art approaches to approximating the log-determinant, while also quantifying the uncertainty due to budget-constrained evidence.

研究动机与目标

• 解决大规模核矩阵中精确对数行列式计算的计算不可行性问题。
• 通过矩阵迹的噪声观测，将对数行列式估计重新表述为贝叶斯推断问题。
• 结合矩阵理论中的理论边界，以提高后验估计的准确性。
• 为近似结果提供不确定性量化，作为质量指标。
• 在大规模参数学习中的实际应用，例如在确定性点过程中的应用。

提出的方法

• 该方法基于通过随机迹估计获得的 Tr(A^k) 的噪声观测，使用高斯过程对矩阵的特征值进行建模。
• 利用对数函数的泰勒级数展开，将对数行列式表示为矩阵迹的无穷级数形式。
• 通过预期对数行列式的边界引入先验知识，从而约束后验分布。
• 应用贝叶斯积分法对高斯过程后验在级数上进行积分，得到对数行列式的概率估计。
• 在有限计算预算内，使用随机Lanczos积分法生成 Tr(A^k) 的无偏噪声估计。
• 通过高斯过程模型的预测方差对最终估计的不确定性进行量化。

实验结果

研究问题

• RQ1 对数行列式估计能否被重新解释为贝叶斯推断问题，以实现不确定性量化？
• RQ2 对数行列式的理论边界在多大程度上能提升概率估计的准确性？
• RQ3 不确定性估计与真实近似误差之间的相关性如何？
• RQ4 该方法能否在提供不确定性的前提下，优于现有最先进近似方法的精度？
• RQ5 在实际大规模学习场景中，例如在确定性点过程的参数优化中，该方法的有效性如何？

主要发现

• 所提出的方法在合成数据集和真实世界数据集上，与最先进近似技术相比，表现出具有竞争力的精度。
• 不确定性估计高度可靠，在UFL数据集的24次试验中，绝对误差有23次落在两个标准差范围内。
• 该方法成功实现了对大规模确定性点过程的准确参数选择，仅使用少量矩阵-向量乘积，即以高置信度识别出真实长度尺度。
• 引入理论边界显著改善了后验估计，减少了过度自信现象，增强了鲁棒性。
• 该方法提供的不确定性量化作为近似质量的有意义指标，而所有竞争方法均不具备此功能。
• 该方法在不同计算预算下表现稳健，不确定性随矩阵-向量乘积数量的增加而可预测地降低。