[论文解读] Decision-Theoretic Control of Problem Solving: Principles and Architecture

John S. Breese, Michael Fehling|arXiv (Cornell University)|Mar 27, 2013

Complex Systems and Decision Making参考文献 9被引用 5

一句话总结

本文提出了一种决策理论框架，用于在不确定、实时环境中控制问题求解，通过建模不同推理方法的成本与收益之间的权衡。它提出了 Schemer-II 架构，该架构利用信息价值原理，指导调度并响应关键事件，实现多个问题求解子系统（如信念精炼和解决方案构建）的交错、可中断执行。

ABSTRACT

This paper presents an approach to the design of autonomous, real-time systems operating in uncertain environments. We address issues of problem solving and reflective control of reasoning under uncertainty in terms of two fundamental elements: l) a set of decision-theoretic models for selecting among alternative problem-solving methods and 2) a general computational architecture for resource-bounded problem solving. The decisiontheoretic models provide a set of principles for choosing among alternative problem-solving methods based on their relative costs and benefits, where benefits are characterized in terms of the value of information provided by the output of a reasoning activity. The output may be an estimate of some uncertain quantity or a recommendation for action. The computational architecture, called Schemer-ll, provides for interleaving of and communication among various problem-solving subsystems. These subsystems provide alternative approaches to information gathering, belief refinement, solution construction, and solution execution. In particular, the architecture provides a mechanism for interrupting the subsystems in response to critical events. We provide a decision theoretic account for scheduling problem-solving elements and for critical-event-driven interruption of activities in an architecture such as Schemer-II.

研究动机与目标

• 通过将决策理论与问题求解控制相结合，设计能够在不确定、动态环境中有效运行的自主系统。
• 解决在资源约束和不确定性下从竞争性问题求解方法中进行选择的挑战。
• 开发一种计算架构，支持多种推理活动的交错、可中断执行。
• 通过基于实时信息价值动态重新优先化问题求解活动，实现关键事件驱动的响应。
• 形式化不同问题求解路径所获得的信息价值与推理成本之间的权衡。

提出的方法

• 使用基于决策理论的模型形式化问题求解方法选择，根据成本和收益（信息价值）评估期望效用。
• 提出 Schemer-II 架构作为资源受限问题求解的通用框架，支持多个并发子系统。
• 支持专注于信息收集、信念精炼、解决方案构建和执行的子系统之间的通信与协调。
• 采用机制在关键事件发生时中断正在进行的推理活动，确保对紧急环境变化的响应能力。
• 应用信息价值理论，根据其输出的期望效用对问题求解组件进行调度。
• 使用分层的、反思性的控制机制，其中高层推理监控并基于不确定性和预期结果指导低层问题求解过程。

实验结果

研究问题

• RQ1 在不确定性和资源约束下，自主系统如何动态选择不同的问题求解方法？
• RQ2 哪些决策理论原则可以指导推理活动的调度，以最大化期望效用？
• RQ3 何种计算架构能够支持多种问题求解子系统的交错、可中断执行？
• RQ4 何种机制能够在保持连贯推理的同时实现实时响应关键事件？
• RQ5 如何对推理输出的信息价值进行定量建模，并用于指导系统行为？

主要发现

• 决策理论模型通过平衡其预期成本与所产生的信息价值，实现了对问题求解方法的合理选择。
• Schemer-II 架构成功支持了多个推理子系统的交错与可中断执行，增强了在动态环境中的适应能力。
• 通过一个反思性控制层，基于实时输入重新评估推理优先级，有效管理了关键事件驱动的中断。
• 该框架表明，信息价值原理不仅可用于指导方法选择，还可用于推理过程的调度与终止。
• 该方法通过动态将资源重新分配给最有价值的推理活动，使自主系统在不确定性下保持高性能。
• 来自 UAI-1988 会议论文集的实证结果表明，该架构在复杂、不确定领域中支持稳健的实时决策。