[论文解读] On Approximate Inference for Generalized Gaussian Process Models

Lifeng Shang, Antoni B. Chan|arXiv (Cornell University)|Nov 25, 2013

Gaussian Processes and Bayesian Inference参考文献 64被引用 10

一句话总结

本文提出了一种广义高斯过程模型（GGPM）的统一框架，利用指数族分布对观测似然进行参数化，从而在非负实数、有界区间和离散计数等多样化输出领域实现高效的近似推理。通过基于泰勒展开和EFD参数函数推导出通用推理算法，该方法简化了模型构建过程，并在具有非标准输出分布的回归任务中实现了最先进性能。

ABSTRACT

A generalized Gaussian process model (GGPM) is a unifying framework that encompasses many existing Gaussian process (GP) models, such as GP regression, classification, and counting. In the GGPM framework, the observation likelihood of the GP model is itself parameterized using the exponential family distribution (EFD). In this paper, we consider efficient algorithms for approximate inference on GGPMs using the general form of the EFD. A particular GP model and its associated inference algorithms can then be formed by changing the parameters of the EFD, thus greatly simplifying its creation for task-specific output domains. We demonstrate the efficacy of this framework by creating several new GP models for regressing to non-negative reals and to real intervals. We also consider a closed-form Taylor approximation for efficient inference on GGPMs, and elaborate on its connections with other model-specific heuristic closed-form approximations. Finally, we present a comprehensive set of experiments to compare approximate inference algorithms on a wide variety of GGPMs.

研究动机与目标

• 将回归、分类和计数等不同类型的高斯过程模型统一到基于指数族分布的单一框架中。
• 通过在通用形式中参数化似然函数，简化针对特定输出领域的新型GP模型开发。
• 推导仅依赖于EFD参数函数的高效近似推理算法，减少对特定模型推导的依赖。
• 通过为非负实数和实数区间构建新型GP模型，验证框架的有效性。
• 提供一种闭式泰勒近似方法，与现有启发式近似方法建立联系并实现推广。

提出的方法

• 形式化定义广义高斯过程模型（GGPM），其中观测似然通过指数族分布（EFD）参数化，实现对各类GP模型的统一处理。
• 基于潜函数均值处的对数似然二阶泰勒展开，推导出通用的近似推理算法，得到有效的噪声项和目标项。
• 使用EFD的累积量函数和自然参数的导数，表达关键推理组件（如有效噪声和目标项）。
• 将通用推理框架应用于特定分布（如伯努利、泊松、伽马、逆高斯、贝塔），通过在适当点展开，推导出各类分布的闭式表达式。
• 结合拉普拉斯近似与期望传播原理，推导通用推理方程，推导过程通过解析表达式验证。
• 采用边缘似然进行超参数学习，并提供模型参数对数证据梯度的统一推导。

实验结果

研究问题

• RQ1 能否开发一个统一框架，以简化在标准回归与分类之外的多样化输出领域中GP模型的构建？
• RQ2 如何基于指数族分布的一般形式，为GGPM推导出高效的近似推理方法？
• RQ3 所提出的泰勒近似与现有特定模型GP推理中的启发式近似之间存在何种联系？
• RQ4 该通用推理算法在不同GGPM中（特别是非高斯和有界输出分布）的表现如何？
• RQ5 该框架能否支持自动模型生成与超参数学习，而无需为每种似然类型进行特殊推导？

主要发现

• 所提出的GGPM框架通过仅在指数族中指定似然函数，即可轻松构建用于非负实数和实数区间的新型GP模型，而无需从头推导新的推理算法。
• GGPM的闭式泰勒近似方法推广并统一了现有启发式近似，如泊松和伯努利GP模型中所用方法。
• 对于贝塔分布，该方法利用digamma和trigamma函数推导出一种新颖的闭式近似，其中有效噪声依赖于形状参数φ和展开点。
• 该框架在基准数据集上表现出具有竞争力的性能，实验表明通用推理算法在预测准确性和不确定性校准方面优于或匹配特定模型基线。
• 边缘似然对超参数的梯度以闭式表达，支持通过证据最大化实现高效优化。
• 该方法在多种GGPM中表现出鲁棒性与高效性，包括重尾分布和有界输出，验证了其通用性与实际应用价值。