[论文解读] A Framework for Decision-Theoretic Planning I: Combining the Situation Calculus, Conditional Plans, Probability and Utility

David Poole|arXiv (Cornell University)|Feb 13, 2013

Logic, Reasoning, and Knowledge参考文献 27被引用 11

一句话总结

本文提出了一种统一框架，通过结合逻辑动作表示、条件计划、概率和效用，将情境演算与决策理论规划相融合。它使用随机框架公理和独立选择逻辑来建模不确定性并计算期望效用，从而在概率性STRIPS的基础上实现指数级空间效率的最优规划。

ABSTRACT

This paper shows how we can combine logical representations of actions and decision theory in such a manner that seems natural for both. In particular we assume an axiomatization of the domain in terms of situation calculus, using what is essentially Reiter's solution to the frame problem, in terms of the completion of the axioms defining the state change. Uncertainty is handled in terms of the independent choice logic, which allows for independent choices and a logic program that gives the consequences of the choices. As part of the consequences are a specification of the utility of (final) states. The robot adopts robot plans, similar to the GOLOG programming language. Within this logic, we can define the expected utility of a conditional plan, based on the axiomatization of the actions, the uncertainty and the utility. The ?planning' problem is to find the plan with the highest expected utility. This is related to recent structured representations for POMDPs; here we use stochastic situation calculus rules to specify the state transition function and the reward/value function. Finally we show that with stochastic frame axioms, actions representations in probabilistic STRIPS are exponentially larger than using the representation proposed here.

研究动机与目标

• 将情境演算中的逻辑动作表示与决策理论结合，以实现不确定性下的规划。
• 使用独立选择逻辑和随机框架公理建模不确定性，支持概率性状态转移。
• 在逻辑框架内定义条件计划的期望效用，以实现最优规划。
• 证明所提出的表示方法在空间复杂度上相比概率性STRIPS具有指数级压缩优势。
• 为基于逻辑与概率推理的决策理论规划提供形式化基础。

提出的方法

• 使用Reiter通过情境演算中动作公理的完备化解决框架问题的解法。
• 应用独立选择逻辑来建模概率性选择及其后果。
• 基于随机情境演算规则定义状态转移函数和奖励/价值函数。
• 将计划表示为类似于GOLOG的机器人程序，支持条件执行。
• 基于动作公理、不确定性与效用函数计算计划的期望效用。
• 使用逻辑推理确定具有最大期望效用的计划。

实验结果

研究问题

• RQ1 如何将情境演算中的逻辑动作表示扩展以支持决策理论规划？
• RQ2 在逻辑框架中，表示概率性状态转移和奖励的最紧凑且自然的方式是什么？
• RQ3 如何在逻辑与概率系统中评估条件计划的期望效用？
• RQ4 与现有方法（如概率性STRIPS）相比，该框架在表示与计算方面有何优势？
• RQ5 一个统一的基于逻辑的系统能否有效结合动作、不确定性与效用，实现最优规划？

主要发现

• 该框架通过逻辑公理与概率性选择，实现了对条件计划期望效用的定义。
• 使用随机框架公理使得状态转移的表示比概率性STRIPS更为紧凑。
• 所提出的方法在表示上相比概率性STRIPS实现了指数级的空间压缩。
• 将效用整合进情境演算，使得通过期望效用最大化实现最优规划成为可能。
• 该方法在保持概率一致性的同时，支持对计划进行结构化、逻辑化的推理。
• 该框架在独立选择逻辑的形式化基础上构建，为决策理论规划提供了情境演算的自然扩展。