[论文解读] GaussianProcesses.jl: A Nonparametric Bayes package for the Julia Language

Jamie Fairbrother, Christopher Nemeth+3 more|arXiv (Cornell University)|Dec 21, 2018

Gaussian Processes and Bayesian Inference被引用 12

一句话总结

GaussianProcesses.jl 是 Julia 编程语言的高性能、用户友好的高斯过程包，利用 Julia 的即时编译（JIT）和多分派机制，实现快速、可扩展的推理。它支持精确推理与稀疏近似，涵盖多种似然函数，并与 Julia 生态系统中的优化和可视化工具无缝集成，其运行时性能与 GPML 和 GPy 等成熟工具相当。

ABSTRACT

Gaussian processes are a class of flexible nonparametric Bayesian tools that are widely used across the sciences, and in industry, to model complex data sources. Key to applying Gaussian process models is the availability of well-developed open source software, which is available in many programming languages. In this paper, we present a tutorial of the GaussianProcesses.jl package that has been developed for the Julia programming language. GaussianProcesses.jl utilises the inherent computational benefits of the Julia language, including multiple dispatch and just-in-time compilation, to produce a fast, flexible and user-friendly Gaussian processes package. The package provides many mean and kernel functions with supporting inference tools to fit exact Gaussian process models, as well as a range of alternative likelihood functions to handle non-Gaussian data (e.g. binary classification models) and sparse approximations for scalable Gaussian processes. The package makes efficient use of existing Julia packages to provide users with a range of optimization and plotting tools.

研究动机与目标

• 开发一个专为 Julia 编程语言量身定制的高性能、用户友好的高斯过程包。
• 利用 Julia 的计算优势——特别是即时编译和多分派——实现非参数贝叶斯模型中的高效推理。
• 提供一个灵活的框架，支持精确推理、稀疏近似以及适用于非高斯数据的广泛似然函数。
• 确保与现有 Julia 包在优化、概率建模和可视化方面的互操作性。
• 实现与其它主流高斯过程库相当的运行时性能。

提出的方法

• 利用 Julia 的即时编译（JIT）在运行时将函数编译为机器代码，显著提升执行速度，优于解释型语言。
• 通过多分派实现对不同类型的函数高效实现，适用于高斯过程的各类组件，如核函数、均值函数和似然函数。
• 通过算术运算（如加法和乘法）支持均值函数与核函数的组合，实现灵活的模型构建。
• 与成熟的 Julia 包集成：使用 Optim.jl 进行超参数优化，使用 Distributions.jl 进行先验设定。
• 通过 Cholesky 分解实现精确推理，并通过引入点（inducing points）支持稀疏近似，提升可扩展性。
• 提供模块化接口，可无缝集成其他 Julia 包（如 BayesianOptimization.jl），拓展功能。

实验结果

研究问题

• RQ1 如何利用现代系统编程语言的特性加速高斯过程推理？
• RQ2 Julia 的 JIT 编译和多分派在多大程度上能够实现非参数贝叶斯模型的高效、高层抽象实现？
• RQ3 完全基于 Julia 实现的高斯过程包能否在运行时性能上媲美成熟的 C 加速版本（如 GPML 和 GPy）？
• RQ4 该包在通过多样化的似然函数和稀疏近似支持非高斯数据灵活建模方面表现如何？
• RQ5 与现有 Julia 科学计算包的模块化集成对可用性和可扩展性有何影响？

主要发现

• GaussianProcesses.jl 实现了与 GPML 和 GPy 相当的运行时性能，证明纯 Julia 实现可以达到甚至超越混合 C/Matlab 或 Python/C++ 系统的速度。
• Julia 的 JIT 编译和多分派机制使高层、可读性强的代码无需牺牲计算效率，有效解决了‘两门语言问题’。
• 该包支持广泛的均值函数和核函数，包括组合运算，可灵活设计适用于各类回归与分类任务的模型。
• 原生支持基于引入点的稀疏近似，可在保持精度的同时实现大规模数据集的可扩展推理。
• 与 Optim.jl 和 Distributions.jl 的集成支持稳健的超参数优化和先验设定，增强模型鲁棒性与贝叶斯推理能力。
• 该包已成为其他 Julia 包（如 BayesianOptimization.jl）的依赖项，证实其在 Julia 科学计算生态中的基础性作用。