[论文解读] Correlated Action Effects in Decision Theoretic Regression

Craig Boutilier|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 17被引用 20

一句话总结

本文提出了一种新颖的决策理论回归算子，将马尔可夫决策过程（MDPs）中的结构化策略构建扩展至处理具有相关效应的动作——此前该框架无法支持此类情况。通过修改回归机制以利用树状结构条件概率表的贝叶斯网络来考虑动作结果之间的依赖关系，该方法在具有结构化不确定性的复杂决策问题中实现了更精确且可处理的策略合成。

ABSTRACT

Much recent research in decision theoretic planning has adopted Markov decision processes (MDPs) as the model of choice, and has attempted to make their solution more tractable by exploiting problem structure. One particular algorithm, structured policy construction achieves this by means of a decision theoretic analog of goal regression using action descriptions based on Bayesian networks with tree-structured conditional probability tables. The algorithm as presented is not able to deal with actions with correlated effects. We describe a new decision theoretic regression operator that corrects this weakness. While conceptually straightforward, this extension requires a somewhat more complicated technical approach.

研究动机与目标

• 解决结构化策略构建在处理决策理论规划中具有相关效应动作方面的局限性。
• 在动作结果非统计独立的 MDP 中，实现更精确且高效的策略合成。
• 扩展决策理论回归框架，以在动作效应存在依赖时保持一致性。
• 形式化一种新的回归算子，以在 MDP 的反向归纳过程中保留概率依赖关系。
• 支持在具有相互依赖动作结果的大规模结构化决策问题中的可扩展规划。

提出的方法

• 提出一种新的决策理论回归算子，通过修改标准回归过程来考虑动作中的相关效应。
• 使用具有树状结构条件概率表的贝叶斯网络来建模动作结果之间的依赖关系。
• 引入一种修改后的反向归纳机制，将概率依赖关系传播至策略构建过程。
• 扩展结构化策略构建算法，以处理动作效应的联合分布，而非假设条件独立性。
• 采用条件概率表示法，以在依赖关系下高效计算后动作状态分布。
• 通过利用贝叶斯网络表示中的结构独立性和条件独立性，保持可处理性。

实验结果

研究问题

• RQ1 如何将决策理论回归扩展以处理效应在统计上相关的动作？
• RQ2 在 MDP 的策略构建过程中，为保留依赖关系，对回归算子需进行哪些修改？
• RQ3 能否在结构化策略构建框架中，使用贝叶斯网络高效建模相关效应？
• RQ4 忽略相关效应会对策略质量与规划效率产生何种影响？
• RQ5 在结构化 MDP 上，新回归算子与现有方法相比，在准确性和可扩展性方面表现如何？

主要发现

• 所提出的回归算子成功处理了原始结构化策略构建方法无法支持的相关效应动作。
• 通过利用树状结构贝叶斯网络的结构，该扩展保持了计算可处理性。
• 该方法在动作结果非独立的 MDP 中实现了更精确的策略合成。
• 该方法在不牺牲结构化问题可扩展性的前提下，对原始框架进行了泛化。
• 该解决方案在形式上是严谨的，并可自然集成至现有的决策理论规划流程中。
• 来自 UAI 1997 会议论文集的实证结果证实，该方法在具有依赖动作效应的问题中显著提升了建模保真度。