[论文解读] Probabilistic structure discovery in time series data

David M. Janz, Brooks Paige+3 more|arXiv (Cornell University)|Nov 21, 2016

Gaussian Processes and Bayesian Inference参考文献 15被引用 5

一句话总结

本文提出了一种完全贝叶斯方法，用于时间序列的概率结构发现，通过在高斯过程模型中推断核函数组合的后验分布，采用随机上下文无关语法先验和群体蒙特卡洛推理。与贪婪优化方法不同，该方法提供了更校准的不确定性估计，并揭示了多个合理的模型结构，从而增强了模型选择的可解释性和可靠性。

ABSTRACT

Existing methods for structure discovery in time series data construct interpretable, compositional kernels for Gaussian process regression models. While the learned Gaussian process model provides posterior mean and variance estimates, typically the structure is learned via a greedy optimization procedure. This restricts the space of possible solutions and leads to over-confident uncertainty estimates. We introduce a fully Bayesian approach, inferring a full posterior over structures, which more reliably captures the uncertainty of the model.

研究动机与目标

• 解决高斯过程模型中核函数结构发现的贪婪优化方法的局限性，这些方法会产生过度自信的不确定性估计。
• 开发一个完全贝叶斯框架，推断核结构和超参数的后验分布，更可靠地捕捉模型不确定性。
• 通过揭示多个合理的核函数组合来实现可解释的模型发现，这些组合能够解释数据。
• 通过使用真正的随机上下文无关语法规则作为核函数组合的先验，扩展先前关于核函数集成的工作。
• 将该方法集成到概率编程框架（Anglican）中，实现在更广泛建模流程中的无缝使用。

提出的方法

• 该方法使用带有核函数组合生成规则（基底核函数的和与积）的概率上下文无关语法，定义核结构的先验分布。
• 在核函数超参数上施加可分先验，其分布根据基底核类型和结构进行条件化。
• 使用带有重采样-移动步骤的群体蒙特卡洛算法，对核结构和参数进行后验推断。
• 每个粒子通过以下方式变异：改变核结构（添加、移除或替换基底核函数），或对超参数应用哈密顿蒙特卡洛方法。
• 预测分布通过高斯过程后验的加权混合形式计算，保持了解析可处理性。
• 该框架在Anglican概率编程语言中实现，支持与其他概率模型的集成。

实验结果

研究问题

• RQ1 与贪婪优化相比，时间序列中核函数结构发现的完全贝叶斯方法是否能改善不确定性量化？
• RQ2 对核结构和超参数同时建模不确定性，如何影响预测性能和校准程度？
• RQ3 随机上下文无关语法先验在探索多样化且可解释的核函数组合方面，其有效性如何？
• RQ4 通过后验抽样揭示的多个合理核函数结构，如何增强模型的可解释性？
• RQ5 所提出的方法能否高效地集成到概率编程流水线中，以支持端到端建模？

主要发现

• 在Mauna Loa CO2数据集上的实验表明，该方法在外推任务中产生了更校准的不确定性估计，而贪婪方法则产生过度自信的预测。
• 后验样本揭示了数据的多种竞争性解释，例如线性、周期性和平方指数分量的不同组合，从而增强了模型的可解释性。
• 使用随机上下文无关语法规则先验，能够系统性地探索远超先前工作中有限且受限集合的丰富核函数组合空间。
• 带有重采样-移动步骤的群体蒙特卡洛方法能有效近似核结构和超参数的联合后验分布，从而实现实际可行的推断。
• 通过高斯过程后验的加权混合形式，该方法保持了解析的预测分布，确保了计算效率。
• 与Anglican的集成使得该方法能无缝融入更大的概率建模流水线，支持可扩展性和模块化设计。