[论文解读] First Order Decision Diagrams for Relational MDPs

Chenggang Wang, Saket Joshi+1 more|Oct 31, 2011

Bayesian Modeling and Causal Inference参考文献 33被引用 7

一句话总结

本文提出了首阶决策图（FODDs），一种用于对象结构化领域上函数的紧凑、关系型表示方法，可在不进行状态展开的情况下实现关系MDP中的高效值迭代。该方法支持跨不同规模领域的泛化，并证明可收敛至最优抽象策略。

ABSTRACT

Markov decision processes capture sequential decision making under uncertainty, where an agent must choose actions so as to optimize long term reward. The paper studies efficient reasoning mechanisms for Relational Markov Decision Processes (RMDP) where world states have an internal relational structure that can be naturally described in terms of objects and relations among them. Two contributions are presented. First, the paper develops First Order Decision Diagrams (FODD), a new compact representation for functions over relational structures, together with a set of operators to combine FODDs, and novel reduction techniques to keep the representation small. Second, the paper shows how FODDs can be used to develop solutions for RMDPs, where reasoning is performed at the abstract level and the resulting optimal policy is independent of domain size (number of objects) or instantiation. In particular, a variant of the value iteration algorithm is developed by using special operations over FODDs, and the algorithm is shown to converge to the optimal policy.

研究动机与目标

• 解决命题MDP在具有关系结构的大规模或无限领域中的可扩展性限制。
• 为关系领域中的值函数与策略开发一种紧凑且通用的表示方法。
• 实现在不进行状态展开的前提下进行决策理论规划，使推理与解决方案独立于领域规模。
• 设计一种直接在FODDs上操作的值迭代算法，以计算关系MDP中的最优策略。
• 为基于FODD的抽象推理下的值迭代提供理论收敛性保证。

提出的方法

• 提出首阶决策图（FODDs）作为代数决策图（ADDs）在一阶逻辑结构上的推广。
• 定义一组用于组合FODDs的操作符，包括动作应用、值聚合与策略最大化等操作。
• 引入新颖的化简技术，在保持语义等价性的前提下减小FODD规模。
• 开发一种关系型值迭代算法，利用FODD操作在不枚举状态的前提下计算值函数。
• 通过基于FODD的表示支持概率性动作效果与奖励，实现对转移函数与奖励函数的紧凑建模。
• 利用状态划分之间的共享结构实现压缩表示，提升空间效率。

实验结果

研究问题

• RQ1 能否将决策图表示从命题领域推广至一阶领域，以支持紧凑且可扩展的MDP推理？
• RQ2 如何设计FODDs，使其在避免状态展开的前提下，支持关系MDP中的高效值迭代？
• RQ3 在迭代式值函数更新过程中，需要哪些化简与归一化操作以维持FODD的小规模？
• RQ4 基于FODD的值迭代是否能在所有领域实例化（包括无限实例）下收敛至最优抽象策略？
• RQ5 与ReBel和SDP等现有方法相比，FODDs在建模灵活性与计算效率方面的表达能力如何？

主要发现

• FODDs为关系MDP中的值函数与策略提供了紧凑且通用的表示，使推理过程独立于领域规模。
• 基于FODD的值迭代算法在存在最优抽象值函数时，可收敛至最优抽象值函数。
• 该方法支持对象最大化与状态划分间的共享结构，相比命题展开方法在空间与时间上均有显著节省。
• FODDs可表达概率性STRIPS风格的动作与奖励函数，支持对领域动态的灵活建模。
• 该方法支持泛化：通过FODDs推导出的单一策略对所有领域实例（包括无限实例）均为最优。
• 通过合并值相近的叶节点支持近似计算，实现精度与FODD规模之间的可调和权衡。