[论文解读] Efficient State-Space Inference of Periodic Latent Force Models

Steven Reece, Stephen Roberts+3 more|arXiv (Cornell University)|Oct 23, 2013

Gaussian Processes and Bayesian Inference参考文献 40被引用 14

一句话总结

本文提出了一种新颖的状态空间推理方法，用于周期性潜在力模型（LFMs），采用基于核主成分分析（KPCA）的特征函数基模型，以高效表示周期性和准周期性高斯过程先验。该方法实现了在LFMs中的可扩展、合理的推理——将RMSE降低至非周期性模型的17%和共振器模型的27%，同时保持完整的贝叶斯推理，无需手动调整超参数。

ABSTRACT

Latent force models (LFM) are principled approaches to incorporating solutions to differential equations within non-parametric inference methods. Unfortunately, the development and application of LFMs can be inhibited by their computational cost, especially when closed-form solutions for the LFM are unavailable, as is the case in many real world problems where these latent forces exhibit periodic behaviour. Given this, we develop a new sparse representation of LFMs which considerably improves their computational efficiency, as well as broadening their applicability, in a principled way, to domains with periodic or near periodic latent forces. Our approach uses a linear basis model to approximate one generative model for each periodic force. We assume that the latent forces are generated from Gaussian process priors and develop a linear basis model which fully expresses these priors. We apply our approach to model the thermal dynamics of domestic buildings and show that it is effective at predicting day-ahead temperatures within the homes. We also apply our approach within queueing theory in which quasi-periodic arrival rates are modelled as latent forces. In both cases, we demonstrate that our approach can be implemented efficiently using state-space methods which encode the linear dynamic systems via LFMs. Further, we show that state estimates obtained using periodic latent force models can reduce the root mean squared error to 17% of that from non-periodic models and 27% of the nearest rival approach which is the resonator model.

研究动机与目标

• 解决现有潜在力模型（LFMs）在建模周期性或准周期性潜在力时计算不可行的问题。
• 将LFMs中的状态空间推理扩展至适应平稳周期性、非平稳周期性和准周期性高斯过程先验。
• 利用从核主成分分析（KPCA）导出的特征函数，开发周期性潜在力的稀疏高效表示。
• 通过将GP先验结构直接嵌入状态空间模型，实现无需手动调整超参数的完全贝叶斯推理。
• 在涉及周期性动态的真实世界问题中展示该方法的有效性，例如家庭供暖和呼叫中心排队。

提出的方法

• 该方法在时间域中使用基于核主成分分析（KPCA）导出的特征函数的线性基模型（LBM），以表示周期性潜在力。
• 特征函数从周期性GP先验的协方差函数中计算得出，确保基函数完整捕捉先验结构。
• 通过将LBM的系数加入状态向量，以表示潜在力，从而实现通过卡尔曼滤波的高效状态空间推理。
• 通过将KPCA基适应潜在力的时间变特征，该方法可同时建模平稳和非平稳周期过程。
• 通过使用随时间变化的振幅加权特征函数的和，对准周期性力进行建模，从而允许周期性模式在每日之间发生变化。
• 所有模型参数，包括超参数，均通过最大似然或贝叶斯方法推断，避免了手动调参。

实验结果

研究问题

• RQ1 周期性和准周期性潜在力能否在潜在力模型的状态空间框架内被高效表示？
• RQ2 与共振器模型等现有方法相比，基于特征函数的LBM表示是否在预测精度上表现更优？
• RQ3 该方法能否扩展至具有复杂非平稳周期动态的真实世界应用，如家庭供暖和呼叫中心客户到达？
• RQ4 与非周期性模型相比，引入周期性先验在线性与非线性系统中能在多大程度上降低预测误差？
• RQ5 该方法能否在完全编码GP先验信息的同时，保持计算效率？

主要发现

• 在温控动态预测中，所提方法将均方根误差（RMSE）降低至非周期性模型的17%，显著优于基线方法。
• 在呼叫中心应用中，周期性模型相比非周期性模型将RMSE降低了高达83%，表明其在日间到达率模式上的强大性能。
• 在温控动态应用中，基于特征函数的模型相比共振器模型将RMSE降低了高达74%，表明其在残余热分布建模方面表现更优。
• 准周期性模型（WQM和SQM）在两个应用中均实现了最低的均方误差和最高的期望对数似然，尤其在振幅变化的周期性场景中表现突出。
• 该方法成功实现了在线性（家庭供暖）和非线性（呼叫中心）系统中的高效推理，展示了广泛适用性。
• 该方法达到了最先进性能，相比共振器模型（Särkkä et al., 2012; Hartikainen et al., 2012），将RMSE降低至其27%。