[论文解读] Bayesian Learning of Kernel Embeddings

Seth Flaxman, Dino Sejdinović+2 more|arXiv (Cornell University)|Mar 7, 2016

Gaussian Processes and Bayesian Inference参考文献 32被引用 16

一句话总结

本文提出了一种贝叶斯核嵌入（BKE）模型，将核均值嵌入置于高斯过程框架内，实现了嵌入的闭式后验推断以及核超参数学习的可处理边际伪似然。该方法提供了有原则的、带有不确定性的核选择方法，尤其在无监督设置（如基于核的假设检验）中表现优异，优于诸如中位数启发式等启发式方法。

ABSTRACT

Kernel methods are one of the mainstays of machine learning, but the problem of kernel learning remains challenging, with only a few heuristics and very little theory. This is of particular importance in methods based on estimation of kernel mean embeddings of probability measures. For characteristic kernels, which include most commonly used ones, the kernel mean embedding uniquely determines its probability measure, so it can be used to design a powerful statistical testing framework, which includes nonparametric two-sample and independence tests. In practice, however, the performance of these tests can be very sensitive to the choice of kernel and its lengthscale parameters. To address this central issue, we propose a new probabilistic model for kernel mean embeddings, the Bayesian Kernel Embedding model, combining a Gaussian process prior over the Reproducing Kernel Hilbert Space containing the mean embedding with a conjugate likelihood function, thus yielding a closed form posterior over the mean embedding. The posterior mean of our model is closely related to recently proposed shrinkage estimators for kernel mean embeddings, while the posterior uncertainty is a new, interesting feature with various possible applications. Critically for the purposes of kernel learning, our model gives a simple, closed form marginal pseudolikelihood of the observed data given the kernel hyperparameters. This marginal pseudolikelihood can either be optimized to inform the hyperparameter choice or fully Bayesian inference can be used.

研究动机与目标

• 解决核方法中长期存在的核选择与超参数选择难题，特别是在交叉验证不可行的无监督学习场景中。
• 构建核均值嵌入的贝叶斯框架，实现对嵌入的完整后验推断与不确定性量化。
• 提供一种可处理的、闭式的边际伪似然，用于超参数优化，避免依赖如中位数启发式等启发式方法。
• 通过超参数的积分实现，同时支持频率学派风格的超参数优化与完全的贝叶斯推断。
• 通过提供有原则的替代方法，将核方法的应用扩展至无监督任务（如两样本检验与独立性检验），替代启发式核调优。

提出的方法

• 在包含核均值嵌入的再生核希尔伯特空间（RKHS）上设定高斯过程先验，并采用共轭似然，从而获得嵌入的闭式后验分布。
• 通过积分消去嵌入，推导出边际伪似然，得到仅依赖于观测数据与核超参数的闭式表达式。
• 利用该伪似然进行超参数优化（例如通过梯度上升），或通过在超参数上设定先验并从联合后验中采样，实现完全的贝叶斯推断。
• 通过建模差异函数（两嵌入之差）并将不确定性量化于其估计中，将该框架应用于基于核的假设检验。
• 将BKE模型集成至现有流程（如PC算法）中用于因果发现，以有原则的贝叶斯学习替代启发式核调优。
• 利用嵌入的后验均值作为收缩估计器，同时后验方差提供对推理与模型诊断有用的不确定性估计。

实验结果

研究问题

• RQ1 能否为核均值嵌入构建一个完全的贝叶斯框架，以同时实现不确定性量化与有原则的超参数学习？
• RQ2 所得到的边际伪似然是否能为无监督设置下的核超参数选择提供可靠且可处理的目标函数？
• RQ3 在两样本检验与独立性检验任务中，贝叶斯核学习相较于启发式方法（如中位数启发式）的性能表现如何？
• RQ4 对差异函数的后验不确定性是否能提升基于核的假设检验的检测能力，尤其是在小样本情况下？
• RQ5 贝叶斯核学习在多大程度上可被集成至下游任务（如因果发现）中，以有原则的推断替代启发式核调优？

主要发现

• 贝叶斯核嵌入模型的后验均值近似于近期的收缩估计器，相较于经验均值嵌入，提供了更稳定的估计。
• 边际伪似然使得无需交叉验证即可直接优化核超参数，为无监督设置下的启发式调优提供了有原则的替代方案。
• 在两样本检验中，模型的后验不确定性有效捕捉了分布差异的可检测性，随着样本量增加，不确定性区间逐渐排除零值。
• 在臭氧数据集上，贝叶斯核学习识别出温度对臭氧浓度存在因果影响——与大气化学一致——而先前使用中位数启发式的方法未能恢复这一关联。
• 该方法同时支持点估计（通过最大化伪似然）与完全的贝叶斯推断（通过MCMC或变分方法），支持在下游分析中传播不确定性。
• 该框架具有广泛适用性，不仅限于假设检验，还可作为大规模核方法中核调优的即插即用替代方案，尤其适用于交叉验证计算成本过高的场景。