[论文解读] Identification of Gaussian Process State Space Models

Stefanos Eleftheriadis, Thomas F. W. Nicholson+2 more|arXiv (Cornell University)|May 30, 2017

Gaussian Processes and Bayesian Inference参考文献 31被引用 11

一句话总结

本文提出了一种变分推断框架，用于识别高斯过程状态空间模型（GPSSMs），通过使用双向RNN作为识别模型来近似潜在状态的后验分布。该方法能够从少量数据中高效学习非线性动力学，即使在部分或延迟观测的情况下，也能实现准确的长期轨迹生成和不确定性量化。

ABSTRACT

The Gaussian process state space model (GPSSM) is a non-linear dynamical system, where unknown transition and/or measurement mappings are described by GPs. Most research in GPSSMs has focussed on the state estimation problem, i.e., computing a posterior of the latent state given the model. However, the key challenge in GPSSMs has not been satisfactorily addressed yet: system identification, i.e., learning the model. To address this challenge, we impose a structured Gaussian variational posterior distribution over the latent states, which is parameterised by a recognition model in the form of a bi-directional recurrent neural network. Inference with this structure allows us to recover a posterior smoothed over sequences of data. We provide a practical algorithm for efficiently computing a lower bound on the marginal likelihood using the reparameterisation trick. This further allows for the use of arbitrary kernels within the GPSSM. We demonstrate that the learnt GPSSM can efficiently generate plausible future trajectories of the identified system after only observing a small number of episodes from the true system.

研究动机与目标

• 解决非线性高斯过程状态空间模型（GPSSMs）中系统识别的长期挑战，其中潜在状态和转移函数均未知。
• 通过在潜在状态上引入具有马尔可夫结构的结构化变分后验分布，克服GPSSMs中的不可识别性问题。
• 通过重参数化技巧计算边缘似然的下界，实现GPSSMs的高效学习。
• 通过端到端优化模型和识别模型，使GPSSMs能够使用任意核函数。
• 证明模型在仅观察到少量数据集的情况下，仍能生成合理的长期轨迹。

提出的方法

• 提出一种继承真实状态动力学马尔可夫特性的结构化高斯变分后验分布，用于潜在状态。
• 使用双向循环神经网络（BRNN）作为识别模型，以推断状态后验的变分参数，实现对整个序列的平滑估计。
• 对GPSSM应用重参数化技巧，以实现边缘似然变分下界的高效且可微分的优化。
• 通过使用含诱导点的稀疏GP近似GP转移函数，实现在保持核函数选择灵活性的同时实现可扩展的推理。
• 使用随机梯度下降（Adam优化器）进行端到端训练，联合优化GP超参数、诱导点和识别模型参数。
• 利用学习到的后验分布，通过在识别的动力学下从GPSSM中采样来生成未来轨迹，并实现不确定性量化。

实验结果

研究问题

• RQ1 具有双向RNN识别模型的结构化变分后验是否能有效近似GPSSM中潜在状态的真实后验？
• RQ2 所提出的变分推断框架是否能从少量、分段式且可能不完整的数据中实现GPSSMs的有效系统识别？
• RQ3 在仅观察到真实系统少数几个数据集后，模型是否能泛化到长期轨迹预测？
• RQ4 GPSSM在部分或延迟观测（如延迟控制输入）的情况下，能否有效恢复系统动力学？
• RQ5 重参数化技巧是否能实现对任意核函数的GPSSM的高效且稳定的优化？

主要发现

• 所提出的GPSSM在仅观察14个双摆系统数据集后，能够生成合理的长期未来轨迹，预测在超过15个时间步（1.5秒）内保持准确。
• 该模型仅通过双摆的角度信息，未观测角速度，成功学习了双摆的动力学，展示了有效的状态表征学习能力。
• 在执行器动力学实验中，模型在预测性能较差的区域正确捕捉了不确定性，表现为模型不匹配点处不确定性增加。
• 使用双向RNN作为识别模型可实现对状态后验的有效平滑，从而提升推断和学习性能。
• 基于重参数化的变分推断框架实现了高效的优化，并支持使用任意核函数（包括RBF和Matérn核）。
• 即使控制信号与状态观测未时间对齐，模型在未见测试数据集上仍表现出良好的泛化能力，表明对观测延迟具有鲁棒性。