[论文解读] Automatic Generation of Probabilistic Programming from Time Series Data

Anh Tong, Jaesik Choi|arXiv (Cornell University)|Jul 4, 2016

Time Series Analysis and Forecasting参考文献 12被引用 5

一句话总结

该论文提出 StanABCD，一种通过利用自动贝叶斯协方差发现（ABCD）框架，从时间序列数据自动生成 Stan 概率编程代码的系统。它将通过组合高斯过程学习得到的描述性协方差结构转化为可执行的 Stan 代码，从而实现高效贝叶斯推断与高保真度的外推。

ABSTRACT

Probabilistic programming languages represent complex data with intermingled models in a few lines of code. Efficient inference algorithms in probabilistic programming languages make possible to build unified frameworks to compute interesting probabilities of various large, real-world problems. When the structure of model is given, constructing a probabilistic program is rather straightforward. Thus, main focus have been to learn the best model parameters and compute marginal probabilities. In this paper, we provide a new perspective to build expressive probabilistic program from continue time series data when the structure of model is not given. The intuition behind of our method is to find a descriptive covariance structure of time series data in nonparametric Gaussian process regression. We report that such descriptive covariance structure efficiently derives a probabilistic programming description accurately.

研究动机与目标

• 自动从时间序列数据生成概率编程代码，而无需手动指定模型。
• 弥合自动统计建模（ABCD）与可执行概率编程（Stan）之间的差距，以实现可扩展推断。
• 实现 ABCD 学习到的核结构到 Stan 代码的可靠一对一映射，以支持下游统计分析。
• 通过将推断任务卸载到编译型概率编程环境，加速 ABCD 中的核学习。
• 通过紧凑且可解释的 Stan 代码表示，支持对异质时间序列的复杂建模。

提出的方法

• 使用 ABCD 从时间序列中提取描述性协方差结构，识别可解释的成分，如平滑性、周期性与变化点。
• 通过组合核学习方法，将学习到的复合核表示为基本核（如 SE、PER、WN、LIN、CONST）的和与积。
• 通过将核运算映射为矩阵运算，将复合核转换为 Stan 语法：加法对应矩阵求和，乘法对应哈达玛积。
• 在 Stan 的 transformed parameters 块中实现联合高斯过程先验，利用 Cholesky 分解实现高效多变量正态分布抽样。
• 在 generated quantities 块中，通过均值和 Cholesky 分解的协方差，对标准正态变量进行线性变换，生成预测输出。
• 使用 PyStan 编译并执行生成的 Stan 代码，从测试点的后验预测分布中抽样。

实验结果

研究问题

• RQ1 ABCD 学习到的协方差结构能否系统性地转化为 Stan 中可执行的概率程序？
• RQ2 生成的 Stan 代码在真实世界时间序列上，其外推性能与 ABCD 的匹配程度如何？
• RQ3 自动代码生成在多大程度上保留了原始 ABCD 模型的可解释性与表达能力？
• RQ4 生成的 Stan 程序能否实现新数据点的高效贝叶斯推断与后验抽样？
• RQ5 在预测不确定性与函数形式方面，生成的概率程序与原始 ABCD 模型相比，保真度如何？

主要发现

• StanABCD 能够成功从 ABCD 学习到的复合核结构中生成有效且可执行的 Stan 代码，实现一对一映射。
• 生成的 Stan 程序在航空旅客与印尼卢比汇率两个数据集上，其外推样本性能与 ABCD 非常接近。
• 该方法在生成的概率程序中保留了 ABCD 模型组件（如周期性、线性趋势、噪声）的可解释性。
• 在 transformed parameters 块中使用 Cholesky 分解，实现了从联合高斯过程先验中高效且数值稳定的抽样。
• 该系统表明，自动概率编程生成是可行且准确的，可在无需手动重实现模型的情况下实现可扩展推断。
• 生成的代码支持下游任务，如后验预测抽样与不确定性量化，且工程工作量极低。