[论文解读] Learning to Make Predictions In Partially Observable Environments Without a Generative Model

Erik Talvitie, Satinder Singh|arXiv (Cornell University)|Jan 16, 2014

Neural Networks and Applications参考文献 41被引用 14

一句话总结

本文提出了预测轮廓模型——一种非生成式、部分模型，可在部分可观察环境中学习进行特定且受限的预测，而无需完整的生成模型。通过将学习问题转化为仅关注关键预测的优化，该方法在标准生成模型（如POMDP）因复杂性而失效的高维、非马尔可夫系统中实现了有效学习，实证验证了其在传统方法难以处理的复杂场景中的成功应用。

ABSTRACT

When faced with the problem of learning a model of a high-dimensional environment, a common approach is to limit the model to make only a restricted set of predictions, thereby simplifying the learning problem. These partial models may be directly useful for making decisions or may be combined together to form a more complete, structured model. However, in partially observable (non-Markov) environments, standard model-learning methods learn generative models, i.e. models that provide a probability distribution over all possible futures (such as POMDPs). It is not straightforward to restrict such models to make only certain predictions, and doing so does not always simplify the learning problem. In this paper we present prediction profile models: non-generative partial models for partially observable systems that make only a given set of predictions, and are therefore far simpler than generative models in some cases. We formalize the problem of learning a prediction profile model as a transformation of the original model-learning problem, and show empirically that one can learn prediction profile models that make a small set of important predictions even in systems that are too complex for standard generative models.

研究动机与目标

• 解决在高维、部分可观察环境中学习模型的挑战，其中完整生成模型难以实现。
• 开发一种仅学习受限预测集的方法，从而简化学习问题，而无需完整的生成模型。
• 通过聚焦于一小部分重要预测，实现有效决策或模型组合。
• 将部分模型的学习形式化为原始模型学习问题的转换。
• 实证验证预测轮廓模型可在传统生成模型难以处理的复杂系统中成功学习。

提出的方法

• 提出预测轮廓模型作为非生成式、部分模型，仅进行预定义的预测，避免对完整分布进行建模。
• 将原始模型学习问题转化为仅关注目标预测的约束优化任务。
• 采用直接优化指定结果预测准确率的学习框架，而非建模所有可能的未来状态。
• 采用结构化学习方法，避免对所有可能观测和动作的完整联合分布进行估计的计算负担。
• 应用监督学习技术，基于历史信息预测特定结果，使用函数逼近处理高维输入。
• 依赖函数逼近和基于梯度的优化，学习从历史到目标预测的映射，而无需显式生成建模。

实验结果

研究问题

• RQ1 我们能否在不构建完整生成模型的情况下，在部分可观察环境中学习到有效模型？
• RQ2 将学习限制在一小部分关键预测上，是否能显著降低复杂性，同时保持预测性能？
• RQ3 是否可以将部分模型的学习形式化为原始模型学习问题的转换？
• RQ4 预测轮廓模型是否能在高维、非马尔可夫环境中成功训练，而这些环境会导致生成模型失效？
• RQ5 在预测准确率和学习效率方面，预测轮廓模型与完整生成模型相比表现如何？

主要发现

• 预测轮廓模型成功学习在高维、部分可观察环境中进行少量重要预测，而标准生成模型在此类环境中不可行。
• 即使在传统POMDP风格生成建模难以处理的复杂系统中，该方法仍能实现有意义的预测性能。
• 通过仅关注相关预测，学习问题显著简化，且比完整生成模型学习更具可扩展性。
• 学习问题的转换使得可直接针对特定预测进行优化，而无需建模整个状态分布。
• 实证结果表明，预测轮廓模型可被有效训练，并在复杂、非马尔可夫领域中产生有用预测。
• 该方法使在完整生成建模计算上不可行的场景中实现实际模型学习成为可能。