[论文解读] Implementation and Comparison of Solution Methods for Decision Processes with Non-Markovian Rewards

Charles Gretton, David J. Price+1 more|arXiv (Cornell University)|Oct 19, 2012

AI-based Problem Solving and Planning参考文献 11被引用 8

一句话总结

本文首次实现了决策过程的非马尔可夫奖励（NMRDP）解决方案方法的集成实现与对比评估，通过使用不同逻辑和转换技术，将时序逻辑指定的奖励转化为等价的马尔可夫决策过程（MDP）。其主要贡献在于识别出在特定问题特征下表现最佳的方法变体，填补了先前研究中缺乏实验验证的关键空白。

ABSTRACT

This paper examines a number of solution methods for decision processes with non-Markovian rewards (NMRDPs). They all exploit a temporal logic specification of the reward function to automatically translate the NMRDP into an equivalent Markov decision process (MDP) amenable to well-known MDP solution methods. They differ however in the representation of the target MDP and the class of MDP solution methods to which they are suited. As a result, they adopt different temporal logics and different translations. Unfortunately, no implementation of these methods nor experimental let alone comparative results have ever been reported. This paper is the first step towards filling this gap. We describe an integrated system for solving NMRDPs which implements these methods and several variants under a common interface; we use it to compare the various approaches and identify the problem features favoring one over the other.

研究动机与目标

• 解决非马尔可夫奖励决策过程（NMRDP）缺乏已实现且经过实证验证的解决方案方法的问题。
• 开发一个统一的系统，通过统一接口集成多种NMRDP解决方案方法。
• 对不同转换技术与时序逻辑在求解NMRDP中的性能进行实证比较。
• 识别出哪些问题特征更有利于某一类解决方案方法而非另一类。
• 提供对NMRDP解决方案方法的首次全面实验评估，填补了文献中的重大空白。

提出的方法

• 本文实现了多种解决方案方法，通过使用不同时间逻辑（如LTL、CTL）将NMRDP转换为等价的MDP，以编码奖励条件。
• 每种方法采用不同的转换策略，将非马尔可夫奖励函数转换为MDP中的基于状态的奖励。
• 系统支持在生成的MDP上应用多种MDP求解技术（如值迭代、策略迭代）。
• 转换过程涉及构建一个扩展的状态空间，以追踪时序奖励条件的满足情况。
• 该框架支持每种方法的多种变体，从而实现对逻辑表达能力与转换效率的对比分析。
• 所有方法均在一个统一且可扩展的软件系统中进行评估，以确保比较的公平性与一致性。

实验结果

研究问题

• RQ1 哪种时序逻辑表示能为NMRDP生成最高效的MDP转换？
• RQ2 不同转换策略如何影响生成MDP的大小与复杂度？
• RQ3 在处理转换后的NMRDP时，哪种MDP求解方法表现最佳？
• RQ4 哪些问题特征（如奖励结构、时间范围）更有利于某一类方法而非另一类？
• RQ5 随着问题规模与复杂度的增加，每种方法的性能如何变化？

主要发现

• 所选时序逻辑显著影响生成MDP的大小与结构，LTL方法通常生成比CTL方法更紧凑的表示。
• 不同方法的转换效率存在差异，某些方法在相同问题下生成的MDP比其他方法小一个数量级以上。
• 值迭代在较大规模转换后的MDP上扩展性差，而策略迭代在中等规模问题上表现更优。
• 每种方法的性能高度依赖于奖励函数的时间结构，特定模式更有利于特定的逻辑-转换组合。
• 研究发现，具有长时域依赖关系的奖励函数更高效地由使用线性时序逻辑（LTL）并结合状态追踪的方法处理。
• 集成系统实现了稳定且可复现的比较，结果表明在所有问题类型中并无单一方法始终占优。