[论文解读] Computing Functions of Random Variables via Reproducing Kernel Hilbert Space Representations

Bernhard Schölkopf, Krikamol Muandet+3 more|arXiv (Cornell University)|Jan 27, 2015

Bayesian Modeling and Causal Inference参考文献 38被引用 1

一句话总结

本文提出核概率编程（kernel probabilistic programming），一种利用再生核希尔伯特空间（RKHS）表示来非参数化计算随机变量函数的方法。通过将概率分布映射到RKHS，该方法能够在任意分布上执行函数运算（如条件化和变换），在非参数结构方程模型和合成数据的因果推断中展现出实用性。

ABSTRACT

We describe a method to perform functional operations on probability distributions of random variables. The method uses reproducing kernel Hilbert space representations of probability distributions, and it is applicable to all operations which can be applied to points drawn from the respective distributions. We refer to our approach as {\em kernel probabilistic programming}. We illustrate it on synthetic data, and show how it can be used for nonparametric structural equation models, with an application to causal inference.

研究动机与目标

• 开发一种非参数框架，用于对概率分布执行函数运算。
• 解决在无参数假设下计算随机变量复杂变换的挑战。
• 通过灵活的非参数表示，实现在结构方程模型中的因果推断。
• 提供一种统一的计算方法，适用于可对分布中单一样本执行的所有操作。

提出的方法

• 使用核嵌入将概率分布表示为再生核希尔伯特空间（RKHS）中的元素。
• 通过核技巧在RKHS中直接应用函数运算（例如条件化、变换）。
• 利用独立同分布样本的经验核嵌入估计来近似分布运算。
• 确保该方法适用于可对分布中单一样本执行的所有运算。
• 利用RKHS的通用逼近特性来建模复杂且非参数化的依赖关系。
• 将该框架应用于合成数据上的非参数结构方程模型和因果推断任务。

实验结果

研究问题

• RQ1 能否通过基于核的表示，在无参数假设下计算随机变量的函数运算？
• RQ2 RKHS嵌入如何实现结构方程模型中的非参数推断？
• RQ3 该方法在灵活且非参数化设置中，能在多大程度上支持因果推断？
• RQ4 与标准参数化方法相比，基于核的运算在灵活性和准确性方面表现如何？

主要发现

• 该方法通过RKHS表示实现了对随机变量函数的非参数计算，支持对单一样本定义的任意运算。
• 该框架在合成数据中成功建模了复杂依赖关系，展现出捕捉非高斯和非线性关系的灵活性。
• 核概率编程在无需参数化分布假设的情况下，支持非参数结构方程模型中的因果推断。
• 在合成数据上的实证结果证实了该方法在建模随机变量函数变换方面的可行性与有效性。