[论文解读] Kernel Bayes' rule

Kenji Fukumizu, Le Song+1 more|arXiv (Cornell University)|Sep 29, 2010

Gaussian Processes and Bayesian Inference参考文献 35被引用 4

一句话总结

本文提出了一种基于核函数的非参数方法，利用再生核希尔伯特空间（RKHS）实现贝叶斯法则，其中概率通过经验样本的RKHS均值表示。该方法实现了无需显式参数模型的似然-free贝叶斯推断与非参数滤波，并提供了理论一致率，且在贝叶斯计算与状态空间建模中得到实际应用。

ABSTRACT

A nonparametric kernel-based method for realizing Bayes' rule is proposed, based on representations of probabilities in reproducing kernel Hilbert spaces. Probabilities are uniquely characterized by the mean of the canonical map to the RKHS. The prior and conditional probabilities are expressed in terms of RKHS functions of an empirical sample: no explicit parametric model is needed for these quantities. The posterior is likewise an RKHS mean of a weighted sample. The estimator for the expectation of a function of the posterior is derived, and rates of consistency are shown. Some representative applications of the kernel Bayes' rule are presented, including Baysian computation without likelihood and filtering with a nonparametric state-space model.

研究动机与目标

• 开发一种无需显式参数化先验、似然或后验分布模型的非参数贝叶斯法则实现方法。
• 通过经验样本将概率测度表示为再生核希尔伯特空间（RKHS）中的元素。
• 在似然函数难以计算或未知的复杂模型中实现贝叶斯推断，例如在基于模拟的推断中。
• 为基于RKHS的后验期望估计器在后验函数上的期望下提供理论一致率。
• 在似然-free贝叶斯计算与非参数状态空间滤波中展示实际应用。

提出的方法

• 通过标准特征映射，利用经验样本将先验与条件概率表示为RKHS中的元素。
• 将后验表示为加权经验样本的RKHS均值，权重由核化似然比导出。
• 利用核均值嵌入非参数化表示所有概率量，无需假设参数形式。
• 基于再生表示定理，推导函数后验期望的估计器，利用加权RKHS均值。
• 在较弱正则性条件下建立估计器的一致性速率，证明其收敛于真实后验期望。
• 通过跳过显式似然计算实现似然-free推断，并通过非参数状态空间模型实现滤波。

实验结果

研究问题

• RQ1 是否可以在不显式使用先验、似然或后验分布的参数模型下实现贝叶斯法则？
• RQ2 概率分布如何在如RKHS这样的函数空间中实现非参数表示与操作？
• RQ3 基于核的后验估计器在函数上的期望下可达到何种一致率？
• RQ4 核贝叶斯法则是否可在似然函数难以处理的模型中实现有效推断？
• RQ5 该方法如何在无参数假设下应用于状态空间模型中的非参数滤波？

主要发现

• 该方法实现了无需显式参数形式的非参数贝叶斯推断，适用于先验、似然与后验分布。
• 概率被唯一地表示为经验样本的RKHS均值，使得其可在希尔伯特空间框架中进行函数操作。
• 后验被估计为加权RKHS均值，权重由核化似然比导出，避免了显式似然计算。
• 后验期望的估计器在弱正则性条件下实现一致性，并具备理论收敛速率。
• 该方法支持似然-free贝叶斯计算，使得在似然函数难以计算或未知时仍可实现推断。
• 在状态空间模型中进行非参数滤波的应用展示了该方法在无参数假设下的动态复杂系统中的实用性。