[论文解读] Anytime State-Based Solution Methods for Decision Processes with non-Markovian Rewards

Sylvie Thiébaux, Froduald Kabanza+1 more|arXiv (Cornell University)|Dec 12, 2012

Formal Methods in Verification参考文献 21被引用 14

一句话总结

本文提出了一种针对具有非马尔可夫奖励的决策过程的任意时间状态基础求解方法，通过将未来线性时序逻辑（FLTL）扩展以表示奖励函数，并将其转换为最小规模的马尔可夫决策过程（MDPs）。该方法将模型检测嵌入求解过程，使任意时间算法仅探索相关状态空间部分，从而在截止时间前获得比以往方法更高质量的策略。

ABSTRACT

A popular approach to solving a decision process with non-Markovian rewards (NMRDP) is to exploit a compact representation of the reward function to automatically translate the NMRDP into an equivalent Markov decision process (MDP) amenable to our favorite MDP solution method. The contribution of this paper is a representation of non-Markovian reward functions and a translation into MDP aimed at making the best possible use of state-based anytime algorithms as the solution method. By explicitly constructing and exploring only parts of the state space, these algorithms are able to trade computation time for policy quality, and have proven quite effective in dealing with large MDPs. Our representation extends future linear temporal logic (FLTL) to express rewards. Our translation has the effect of embedding model-checking in the solution method. It results in an MDP of the minimal size achievable without stepping outside the anytime framework, and consequently in better policies by the deadline.

研究动机与目标

• 为使用任意时间算法高效求解具有非马尔可夫奖励的决策过程提供解决方案。
• 开发一种紧凑的、基于状态的非马尔可夫奖励函数表示方法，以实现向MDPs的有效转换。
• 在不损害与任意时间求解方法兼容性的前提下，最小化生成MDP的规模。
• 将模型检测集成到求解过程中，以在时间约束下提升策略质量。
• 确保转换过程保持最优性，同时支持策略的增量式改进。

提出的方法

• 扩展未来线性时序逻辑（FLTL），以紧凑且语义精确的方式表达非马尔可夫奖励函数。
• 通过系统化构造将FLTL表示的奖励函数转换为等价的MDP，同时最小化状态空间规模。
• 在求解过程中嵌入模型检测技术，以在策略搜索期间验证奖励条件。
• 使用基于状态的任意时间算法，增量式地探索状态空间，通过牺牲计算时间来换取策略质量的提升。
• 仅构建当前策略近似所必需的状态空间部分，从而提升效率。
• 确保生成的MDP在规模上为最小，同时保持与任意时间求解框架的兼容性。

实验结果

研究问题

• RQ1 如何以紧凑方式表示非马尔可夫奖励函数，以实现向MDPs的高效转换？
• RQ2 在保持与任意时间算法兼容的前提下，转换非马尔可夫奖励时可达到的最小MDP规模是多少？
• RQ3 能否有效将模型检测集成到求解过程中以指导策略改进？
• RQ4 与现有方法相比，该方法在时间约束下如何提升策略质量？
• RQ5 基于状态的任意时间算法在多大程度上能从非马尔可夫奖励的紧凑且语义感知的转换中受益？

主要发现

• 所提出的FLTL扩展相比以往方法，能够更紧凑且语义准确地表示非马尔可夫奖励。
• 转换过程生成的MDP在不脱离任意时间框架的前提下达到了可能的最小规模，从而降低了计算开销。
• 通过在求解过程中嵌入模型检测，该方法确保了策略搜索期间奖励评估的正确性。
• 使用转换后MDP的任意时间算法由于聚焦于状态空间的特定部分，因此在截止时间前实现了更高的策略质量。
• 在大规模决策过程中，该方法在时间约束下的策略质量表现优于以往的转换方法。
• 该方法在保持解的最优性的同时支持增量式改进，因此适用于实时应用场景。