[论文解读] Practical Learning of Predictive State Representations

Carlton Downey, Ahmed Hefny+1 more|arXiv (Cornell University)|Feb 14, 2017

Machine Learning and Algorithms参考文献 12被引用 5

一句话总结

本文提出推理梯度（Inference Gradients）方法，结合谱初始化与基于梯度的优化，采用面向推理的损失函数，以改进预测状态表示（PSRs）。通过优化预测准确率而非似然函数，该方法在合成数据集和真实世界数据集上均表现出色，优于标准PSRs和PSIMs。

ABSTRACT

Over the past decade there has been considerable interest in spectral algorithms for learning Predictive State Representations (PSRs). Spectral algorithms have appealing theoretical guarantees; however, the resulting models do not always perform well on inference tasks in practice. One reason for this behavior is the mismatch between the intended task (accurate filtering or prediction) and the loss function being optimized by the algorithm (estimation error in model parameters). A natural idea is to improve performance by refining PSRs using an algorithm such as EM. Unfortunately it is not obvious how to apply apply an EM style algorithm in the context of PSRs as the Log Likelihood is not well defined for all PSRs. We show that it is possible to overcome this problem using ideas from Predictive State Inference Machines. We combine spectral algorithms for PSRs as a consistent and efficient initialization with PSIM-style updates to refine the resulting model parameters. By combining these two ideas we develop Inference Gradients, a simple, fast, and robust method for practical learning of PSRs. Inference Gradients performs gradient descent in the PSR parameter space to optimize an inference-based loss function like PSIM. Because Inference Gradients uses a spectral initialization we get the same consistency benefits as PSRs. We show that Inference Gradients outperforms both PSRs and PSIMs on real and synthetic data sets.

研究动机与目标

• 解决理论一致的谱PSR学习与实际推理任务中表现不佳之间的差距。
• 克服EM类算法在PSRs中的局限性，因为并非所有PSR模型的对数似然函数都定义良好。
• 开发一种稳健且高效的PSR参数优化方法，其目标是预测准确率而非似然函数。
• 结合谱初始化的理论一致性与基于推理的优化带来的性能提升。
• 证明优化长期预测效果可带来更好的泛化能力并减少未见状态下的误差。

提出的方法

• 使用谱算法初始化PSR参数，确保统计一致性与计算效率。
• 提出推理梯度，一种基于梯度下降的方法，使用面向推理的损失函数而非对数似然函数来优化PSR参数。
• 借鉴预测状态推理机（PSIMs）的思想，构建可微分的、面向推理的目标函数。
• 在PSR参数空间中执行梯度更新，以最小化测试轨迹上的预测误差，包括多步预测。
• 采用固定学习率和L1归一化的梯度，以确保不同方法间优化的稳定性和可比性。
• 应用多步推理梯度以优化长期预测性能，提升泛化能力。

实验结果

研究问题

• RQ1 是否可以通过基于梯度的精炼方法，在不依赖似然最大化的情况下，使PSR性能超越谱初始化？
• RQ2 与对数似然函数相比，优化推理性能是否能带来过滤和预测任务中更高的预测准确率？
• RQ3 初始化方式的选择（谱初始化 vs. 随机初始化）如何影响基于梯度的PSR学习的收敛性与最终性能？
• RQ4 多步预测目标是否能改善泛化能力并减少病态推理状态下的误差？
• RQ5 所提方法在真实数据和合成数据上，相较于现有最先进PSR学习算法，其性能提升程度如何？

主要发现

• 推理梯度在所有指标上均优于标准PSRs和PSIMs，涵盖合成数据集与真实世界数据集，包括OSPA和L2状态误差。
• 多步推理梯度在OSPA和中位数L2状态误差上表现最佳，表明其对未见状态具有强大的泛化能力。
• 对数平均L2状态误差在使用推理梯度后显著降低，表明推理过程中病态状态的频率和幅度均明显减少。
• 随机初始化的推理梯度表现较差且早期收敛，凸显谱初始化在避免局部最优中的关键作用。
• 优化负对数似然（如EM方法）虽降低了PNLL，但未能改善OSPA，表明似然函数是预测性能的不良代理指标。
• 结果表明，当目标为预测时，基于推理的损失函数比基于似然的损失函数更有效于训练PSRs。