[论文解读] Hilbert Space Embeddings of Predictive State Representations

Byron Boots, Geoffrey J. Gordon+1 more|arXiv (Cornell University)|Sep 26, 2013

Gaussian Processes and Bayesian Inference参考文献 25被引用 36

一句话总结

本文提出希尔伯特空间嵌入的预测状态表示（HSE-PSRs），一种非参数方法，通过在再生核希尔伯特空间（RKHS）中表示条件分布嵌入，将离散PSRs推广至连续动作和观测。利用核贝叶斯规则与基于矩的学习方法，HSE-PSRs在无需密度估计的情况下实现统计一致性估计，在连续控制基准测试中预测误差更低，优于现有系统辨识方法。

ABSTRACT

Predictive State Representations (PSRs) are an expressive class of models for controlled stochastic processes. PSRs represent state as a set of predictions of future observable events. Because PSRs are defined entirely in terms of observable data, statistically consistent estimates of PSR parameters can be learned efficiently by manipulating moments of observed training data. Most learning algorithms for PSRs have assumed that actions and observations are finite with low cardinality. In this paper, we generalize PSRs to infinite sets of observations and actions, using the recent concept of Hilbert space embeddings of distributions. The essence is to represent the state as a nonparametric conditional embedding operator in a Reproducing Kernel Hilbert Space (RKHS) and leverage recent work in kernel methods to estimate, predict, and update the representation. We show that these Hilbert space embeddings of PSRs are able to gracefully handle continuous actions and observations, and that our learned models outperform competing system identification algorithms on several prediction benchmarks.

研究动机与目标

• 将预测状态表示（PSRs）推广至连续且高基数的动作与观测空间。
• 克服先前连续PSR方法依赖参数族或密度估计的局限性。
• 基于核方法与希尔伯特空间嵌入，开发一种PSRs的统计一致性学习算法。
• 仅使用未标注的动作与观测序列，实现对部分可观察、非线性动力系统的准确预测。
• 在连续控制任务中，展示优于现有系统辨识方法的性能。

提出的方法

• 在再生核希尔伯特空间（RKHS）中，以非参数条件嵌入算子表示状态，利用测试与历史分布的核化表示。
• 采用核贝叶斯规则进行滤波与状态更新，实现在RKHS中无需显式密度估计的贝叶斯推理。
• 利用核技巧隐式表示状态与算子，保持状态向量大小与训练数据成线性关系。
• 通过测试与历史联合概率矩阵的奇异值分解实现基于矩的学习，确保统计一致性。
• 应用高斯RBF核对连续观测与动作建模，实现对复杂动态的非参数化建模。
• 在RKHS中保持线性预测函数，允许使用线性代数实现高效滤波与预测。

实验结果

研究问题

• RQ1 PSRs能否在保持统计一致性的同时，推广至连续且高基数的动作与观测空间？
• RQ2 希尔伯特空间中分布的嵌入能否在不假设参数族的前提下，实现对预测状态动态的准确非参数建模？
• RQ3 HSE-PSRs在连续控制任务中与现有系统辨识方法相比性能如何？
• RQ4 所提出的方法能否在无需标注隐状态的情况下，从未标注的动作与观测序列中进行学习？
• RQ5 基于核的学习算法是否在预测精度上优于EM-based或参数化替代方法？

主要发现

• 在倒立摆基准测试中，HSE-PSRs在所有预测时延下均取得最低均方误差（MSE），优于K-LDS、LDS与IO-HMM基线模型。
• 在滑轨小车数据集中，HSE-PSR在预测IMU读数方面实现了最低RMSE，显著优于所有对比模型，包括稳定化LDS与IO-HMM。
• 在机器人末端执行器预测任务中，HSE-PSR的平均预测误差显著低于K-LDS与稳定化LDS，后者产生了不稳定或不准确的模型。
• HSE-PSR模型在所有基准测试中均表现出一致性能，且无需密度估计或数值积分。
• 该方法对非平稳动态与复杂非线性具有鲁棒性，尤其在高维连续观测空间中表现优异。
• 该算法保持了统计一致性与可扩展性，模型大小随训练数据线性增长，支持实际部署。