[论文解读] Computationally Efficient Bayesian Learning of Gaussian Process State Space Models

Andreas Svensson, Arno Solin+2 more|arXiv (Cornell University)|Jun 7, 2015

Fault Detection and Control Systems被引用 15

一句话总结

该论文通过将动力学投影到基于先验协方差导出的近似特征函数的低秩基上，提出了一种计算高效的高斯过程状态空间模型（GP-SSMs）贝叶斯推断方法。该方法利用粒子马尔可夫链蒙特卡洛（PMCMC）算法实现线性时间复杂度的学习，相较于最先进方法，在性能表现和可靠的不确定性量化方面表现出色。

ABSTRACT

Gaussian processes allow for flexible specification of prior assumptions of unknown dynamics in state space models. We present a procedure for efficient Bayesian learning in Gaussian process state space models, where the representation is formed by projecting the problem onto a set of approximate eigenfunctions derived from the prior covariance structure. Learning under this family of models can be conducted using a carefully crafted particle MCMC algorithm. This scheme is computationally efficient and yet allows for a fully Bayesian treatment of the problem. Compared to conventional system identification tools or existing learning methods, we show competitive performance and reliable quantification of uncertainties in the model.

研究动机与目标

• 解决由于高维非线性状态转移导致的GP-SSMs中完全贝叶斯推断的计算不可行性。
• 克服现有稀疏GP近似方法（如诱导点方法）依赖次优的Nystroem方法且需使用变分推断的局限性。
• 提出一种低秩GP-SSM公式，近似最优的Karhunen–Loève特征基，以实现更优的理论与实际收敛性。
• 通过定制的粒子MCMC算法，实现模型超参数、噪声协方差和隐函数的高效完全贝叶斯学习。
• 在具有挑战性的动力系统辨识任务中，展示出具有竞争力的性能和稳健的不确定性量化。

提出的方法

• 通过将GP先验投影到基于先验协方差结构导出的一组近似特征函数上，构建低秩GP-SSM。
• 使用Karhunen–Loève展开近似，将状态转移函数表示为基函数的线性组合，其系数为随机权重。
• 应用带有祖先重采样的粒子吉布斯采样（PGAS）算法，联合推断基函数权重、超参数和噪声协方差的后验分布。
• 利用低秩模型的参数线性结构，实现每步迭代具有线性时间复杂度的高效MCMC采样。
• 采用共轭先验（过程噪声使用逆威沙特分布，权重使用正态分布），以支持MCMC方案中高效的条件更新。
• 通过补充材料中的理论证明，确保低秩模型在基函数数量增加时，其收敛性可保证趋近于完整GP-SSM。

实验结果

研究问题

• RQ1 基于近似特征函数的低秩GP-SSM在GP-SSM学习中是否能比基于诱导点的方法获得更优的近似质量？
• RQ2 能否在不依赖变分近似的情况下，使GP-SSMs的完全贝叶斯推断方案实现计算高效？
• RQ3 所提出的PMCMC算法是否在非线性系统辨识任务中实现了具有竞争力的性能和可靠的不确定性量化？
• RQ4 与现有变分或最大似然方法相比，该方法的计算复杂度如何？
• RQ5 该低秩GP-SSM公式能否扩展至顺序学习和连续时间动力系统？

主要发现

• 所提出的低秩GP-SSM在基函数数量增加的极限下，可收敛至完整GP-SSM，其理论分析见补充材料。
• 粒子MCMC算法每步迭代具有线性时间复杂度，显著优于Frigola等人（2014b）所提出的变分稀疏GP方法。
• 该方法在输入-输出建模任务中表现出具有竞争力的性能，准确度达到或超过当前最先进最大似然方法。
• 不确定性量化可靠且具有空间结构，后验方差在数据激励较弱的区域增大，如图1所示。
• 该算法对中等数量的基函数（每维6–15个）和粒子数（如20个粒子）具有鲁棒性，对混合或收敛性影响极小。
• 该方法可实现对超参数和隐函数的完整后验推断，而不同于许多现有方法依赖点估计或变分近似。