[论文解读] Approximate Linear Programming for First-order MDPs

Scott Sanner, Craig Boutilier|arXiv (Cornell University)|Jul 4, 2012

Elevator Systems and Control参考文献 13被引用 10

一句话总结

本文提出了一种用于一阶马尔可夫决策过程（FOMDPs）的近似线性规划（ALP）方法，通过在一阶基函数上线性表示值函数，并利用现成的定理证明器和LP求解器求解所得优化问题。该方法实现了领域无关的策略学习，并在所有实例中提供可证明的近似误差界，在多准则电梯调度任务中优于启发式策略。

ABSTRACT

We introduce a new approximate solution technique for first-order Markov decision processes (FOMDPs). Representing the value function linearly w.r.t. a set of first-order basis functions, we compute suitable weights by casting the corresponding optimization as a first-order linear program and show how off-the-shelf theorem prover and LP software can be effectively used. This technique allows one to solve FOMDPs independent of a specific domain instantiation; furthermore, it allows one to determine bounds on approximation error that apply equally to all domain instantiations. We apply this solution technique to the task of elevator scheduling with a rich feature space and multi-criteria additive reward, and demonstrate that it outperforms a number of intuitive, heuristicallyguided policies.

研究动机与目标

• 为通过实现领域无关的策略学习来解决具有丰富关系结构的大规模复杂MDP问题。
• 为一阶MDP开发一种可扩展的求解技术，避免对领域实例进行显式展开。
• 提供适用于所有领域实例的统一近似误差界。
• 在具有复杂特征空间的真实世界多准则调度问题上展示该方法的有效性。

提出的方法

• 将值函数表示为一阶基函数的线性组合，实现紧凑的关系式表示。
• 在基函数权重向量上构建近似线性规划问题，使用一阶表示以避免展开。
• 利用现成的一阶定理证明器，高效验证由贝尔曼方程导出的约束条件。
• 集成标准线性规划求解器，计算基函数的最优权重。
• 使用所得策略在任意FOMDP实例中进行决策，而无需重新求解。
• 通过LP公式推导出适用于所有领域实例的统一近似误差界。

实验结果

研究问题

• RQ1 近似线性规划能否被有效适配于一阶MDP，以避免对领域实例进行展开？
• RQ2 一阶定理证明器能否被用于高效生成和验证FOMDPs ALP公式中的约束？
• RQ3 所提出的方法能否提供适用于所有领域实例的、可证明的值函数近似误差界？
• RQ4 在具有复杂特征空间的真实世界调度任务中，基于ALP的策略性能是否优于启发式策略？

主要发现

• 所提出的ALP方法成功在不展开的情况下求解FOMDPs，实现了所有领域实例中的高效策略学习。
• 该方法提供了适用于FOMDP所有可能实例的统一近似误差界。
• 在具有丰富特征空间和多准则奖励的电梯调度领域中，基于ALP的策略优于多种基于启发式的策略。
• 一阶定理证明器与LP求解器的集成实现了可扩展且正确的约束生成与优化。