[论文解读] Bayesian Deconditional Kernel Mean Embeddings

Kelvin Hsu, Fábio Ramos|arXiv (Cornell University)|May 24, 2019

Gaussian Processes and Bayesian Inference被引用 3

一句话总结

本文提出贝叶斯去条件化核矩生成作为非参数贝叶斯方法，用于解决从观测到的条件期望嵌入中恢复潜在函数的逆问题。通过将该方法视为任务变换高斯过程的后验预测均值，提供了原则性的贝叶斯解释、不确定性量化以及用于核超参数学习的边缘似然，从而支持无似然推断和稀疏建模的应用。

ABSTRACT

Conditional kernel mean embeddings form an attractive nonparametric framework for representing conditional means of functions, describing the observation processes for many complex models. However, the recovery of the original underlying function of interest whose conditional mean was observed is a challenging inference task. We formalize deconditional kernel mean embeddings as a solution to this inverse problem, and show that it can be naturally viewed as a nonparametric Bayes' rule. Critically, we introduce the notion of task transformed Gaussian processes and establish deconditional kernel means as their posterior predictive mean. This connection provides Bayesian interpretations and uncertainty estimates for deconditional kernel mean embeddings, explains their regularization hyperparameters, and reveals a marginal likelihood for kernel hyperparameter learning. These revelations further enable practical applications such as likelihood-free inference and learning sparse representations for big data.

研究动机与目标

• 解决在非参数模型中，从观测到的条件期望嵌入中恢复潜在函数的逆问题。
• 通过后验预测分布的视角，为去条件化核矩生成提供贝叶斯解释。
• 建立一个基于边缘似然的不确定性估计与核超参数学习的系统性框架。
• 支持实际应用，如无似然推断和大规模数据环境下的稀疏表示学习。

提出的方法

• 将去条件化核矩生成形式化为任务变换高斯过程的后验预测均值。
• 引入任务变换高斯过程的概念，以建模从条件期望到潜在函数的逆映射。
• 通过将去条件化嵌入视为贝叶斯预测，推导出用于核超参数学习的边缘似然。
• 利用与高斯过程的联系，自然地将不确定性估计整合到去条件化嵌入框架中。
• 利用后验预测分布在无需显式似然的情况下进行推断，从而实现无似然推断。
• 应用稀疏近似技术，通过学习紧凑表示，使该方法可扩展至大规模数据集。

实验结果

研究问题

• RQ1 去条件化核矩生成如何在贝叶斯框架下进行解释？
• RQ2 从贝叶斯视角看，正则化超参数在去条件化核矩生成中起什么作用？
• RQ3 能否在该非参数设定下为核超参数学习推导出边缘似然？
• RQ4 如何对从条件期望嵌入中恢复潜在函数的不确定性进行量化？
• RQ5 该框架在多大程度上支持大规模数据应用中的无似然推断与稀疏建模？

主要发现

• 去条件化核矩生成在形式上等价于任务变换高斯过程的后验预测均值，提供了贝叶斯基础。
• 该方法通过底层高斯过程模型的预测方差，自然地整合了不确定性估计。
• 去条件化嵌入中的正则化超参数被解释为任务变换高斯过程先验的超参数。
• 推导出边缘似然，从而可通过经验贝叶斯方法实现原则性的核超参数学习。
• 该框架通过允许无需显式似然评估的后验预测，支持无似然推断。
• 通过结构化近似，该方法实现了稀疏表示学习，使其可扩展至大规模数据集。