[论文解读] Learning to Filter with Predictive State Inference Machines

Wen Sun, Arun Venkatraman+2 more|arXiv (Cornell University)|Dec 30, 2015

Machine Learning and Algorithms参考文献 30被引用 7

一句话总结

该论文提出预测状态推理机（PSIM），一种数据驱动方法，通过将推理问题建模为使用预测状态表示（PSR）的监督学习问题，直接学习潜在状态空间模型的过滤策略。通过训练预测器将当前观测和预测状态映射到下一预测状态，PSIM在可实现和对抗性设定下均实现了理论性能保证，在模拟和真实世界机器人基准测试中表现优于传统方法，且特征复杂度显著降低。

ABSTRACT

Latent state space models are a fundamental and widely used tool for modeling dynamical systems. However, they are difficult to learn from data and learned models often lack performance guarantees on inference tasks such as filtering and prediction. In this work, we present the PREDICTIVE STATE INFERENCE MACHINE (PSIM), a data-driven method that considers the inference procedure on a dynamical system as a composition of predictors. The key idea is that rather than first learning a latent state space model, and then using the learned model for inference, PSIM directly learns predictors for inference in predictive state space. We provide theoretical guarantees for inference, in both realizable and agnostic settings, and showcase practical performance on a variety of simulated and real world robotics benchmarks.

研究动机与目标

• 为解决传统潜在状态空间模型学习方法（如MLE和谱学习）在模型不匹配情况下的性能无保证问题。
• 克服传统推理机依赖监督信号的局限，通过利用预测状态表示（PSRs）实现在仅依赖观测数据下的端到端训练。
• 通过将推理过程视为监督学习任务，直接优化过滤性能，避免先学习生成模型的需要。
• 为一般非线性动态系统在可实现和对抗性设定下提供过滤性能的理论保证。
• 证明预测状态表示可构建比原始观测历史更紧凑且更有效的特征空间，从而降低学习复杂度。

提出的方法

• PSIM将过滤建模为预测器的组合，这些预测器将当前预测状态和观测映射到下一预测状态，使用黑箱监督学习器。
• 它利用预测状态表示（PSRs）来表示对未来的观测信念，避免显式估计潜在状态。
• 提出两种训练算法：基于DAgger的算法以提高数据效率，以及前向训练算法以在可实现设定下保证一致性。
• 该方法使用基于给定预测预测状态时实际未来观测似然性的损失函数，实现端到端优化。
• 支持线性和非线性回归器（如RFF、岭回归），并使用反向传播来优化DAgger解。
• 预测状态定义在k个未来观测的时间范围内，更长的时域可捕获更多信息并提升性能。

实验结果

研究问题

• RQ1 我们能否在保持理论性能保证的前提下，将潜在状态空间模型的无监督学习问题转化为监督学习问题？
• RQ2 通过预测状态预测器进行端到端直接学习过滤，是否在推理准确性和鲁棒性方面优于传统基于模型的方法？
• RQ3 在真实系统未被假设模型类捕获的模型不匹配（对抗性）设定下，PSIM能否保持强性能？
• RQ4 预测状态时域k的选择如何影响过滤准确性和特征效率？
• RQ5 PSIM能否在复杂真实动态系统（如机器人操作和动作捕捉）中实现有效泛化？

主要发现

• 在所有基准测试中，PSIM结合DAgger在有限训练数据下均优于AR-k模型，原因在于其紧凑的6维预测状态表示，而AR-k的特征空间为70维。
• 在机器人钻孔装配数据集上，PSIM结合DAgger使用线性岭回归实现1步过滤误差为2.05±0.08，优于基线方法。
• 在视频纹理任务中，PSIM结合RFF相比k=1的设置将误差降低32%，证明了更长预测状态时域的优势。
• 结合反向传播优化的PSIM相比DAgger仅获得微小改进，表明DAgger已能寻找到高质量解。
• 在多步预测中，PSIM在所有数据集上均持续优于AR-k和基线模型，包括旗帜飘动和沙滩波浪等复杂动态场景。
• 在沙滩视频数据上，k=1与k=5的PSIM性能差距最为显著（提升32%），证实更长时域能编码更具信息量的预测状态。