[论文解读] Learning a Machine for the Decision in a Partially Observable Markov Universe

Frédéric Dambreville|arXiv (Cornell University)|Aug 11, 2004

Machine Learning and Algorithms参考文献 6被引用 3

一句话总结

本文提出一种交叉熵优化方法，用于学习分层隐马尔可夫模型（HHMM），以近似部分可观察马尔可夫决策过程（POMDP）中的最优决策策略。通过将动作建模为观测值的参数化概率函数，该方法直接学习近似最优策略，无需动态规划，在具有自适应协作策略的多智能体追踪任务中表现出色。

ABSTRACT

In this paper, we are interested in optimal decisions in a partially observable Markov universe. Our viewpoint departs from the dynamic programming viewpoint: we are directly approximating an optimal strategic tree depending on the observation. This approximation is made by means of a parameterized probabilistic law. In this paper, a particular family of hidden Markov models, with input and output, is considered as a learning framework. A method for optimizing the parameters of these HMMs is proposed and applied. This optimization method is based on the cross-entropic principle.

研究动机与目标

• 为解决精确POMDP解的不可行性，通过参数化概率规律直接近似最优决策树。
• 开发一种基于分层HMM的框架，包含输入和输出，用于建模基于观测值的动作策略。
• 利用交叉熵方法优化HHMM参数，实现在POMDP中近似最优策略的学习。
• 证明分层结构在复杂决策任务中相较于非分层模型能提升收敛速度与性能。

提出的方法

• 使用分层HMM（HHMM）建模策略，其中隐藏状态表示机器记忆，输出表示基于观测值的动作。
• 策略被参数化为条件概率 $ h(x|y) $，以近似最优随机策略 $ \pi(x|y) $。
• 应用交叉熵方法，通过最小化估计策略与最优策略之间的交叉熵，迭代更新HHMM参数。
• 学习过程使用基于奖励的评估函数，引导参数更新朝向更高性能的策略。
• 通过在交叉熵框架内使用蒙特卡洛采样和重要性采样，避免使用动态规划，直接优化策略。
• 分层结构支持多级信息传播，实现对复杂决策依赖关系的紧凑建模。

实验结果

研究问题

• RQ1 基于分层HMM的参数化概率模型能否有效近似POMDP中的最优决策策略？
• RQ2 交叉熵方法是否能在不依赖动态规划的情况下，实现此类策略的高效且稳定的学习？
• RQ3 分层结构如何影响POMDP策略学习中的收敛速度与解的质量？
• RQ4 所学策略能否发现多种不同的、上下文敏感的策略，如协作或欺骗行为？

主要发现

• 交叉熵方法成功优化了HHMM参数，在最佳策略下达到平均评估值69，表明具有很强的近似最优性。
• 4层HHMM（Λ=4）在弱（65）和强（66）标准下均取得最高性能，优于低层模型。
• 尽管复杂度更高，4层HHMM仅需758个参数，显著少于4320个参数的2层模型，显示出更高的效率。
• 该算法表现出全局收敛性，多次运行均收敛至相似的最优值，表明其鲁棒性。
• 所学策略发现了两种不同策略：协作追踪与一个移动体阻断逃逸路径，展示了自适应、上下文感知的行为。
• 即使在状态空间有限的情况下，该方法也表现有效，表明其在更复杂、连续或混合离散-连续问题中的潜力。