[论文解读] An Anytime Algorithm for Decision Making under Uncertainty

Michael C. Horsch, David Poole|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用 45

一句话总结

本文提出了一种基于多阶段影响图的任意时间算法，用于在不确定性下的决策制定，通过在每一步逐步引入更多可用信息，增量式构建次优策略。结果表明，即使在传统方法尚无法计算最优解的情况下，也能生成有价值的策略，尤其在精确计算不可行的大规模问题中表现显著。

ABSTRACT

We present an anytime algorithm which computes policies for decision problems represented as multi-stage influence diagrams. Our algorithm constructs policies incrementally, starting from a policy which makes no use of the available information. The incremental process constructs policies which includes more of the information available to the decision maker at each step. While the process converges to the optimal policy, our approach is designed for situations in which computing the optimal policy is infeasible. We provide examples of the process on several large decision problems, showing that, for these examples, the process constructs valuable (but sub-optimal) policies before the optimal policy would be available by traditional methods.

研究动机与目标

• 解决在大规模不确定性决策问题中计算最优策略的挑战。
• 开发一种方法，在传统最优策略计算完成之前，逐步生成有用的次优策略。
• 在精确最优策略计算不可行的实际场景中，实现可行的决策支持。
• 展示在大规模影响图问题中，增量式策略构建方法的有效性。

提出的方法

• 该算法以忽略所有可用信息的策略为起点，逐步构建策略。
• 在每一步中，算法将更多可用信息纳入策略，逐步提升策略质量。
• 该方法基于影响图表示，用于建模多阶段的决策、机会变量和效用。
• 算法采用信息价值方法，以确定在每个阶段应优先纳入哪些信息。
• 它利用动态规划原理，计算部分策略的期望效用。
• 该过程设计为任意时间算法，即可在任意时间返回有效策略，且策略质量随时间持续提升。

实验结果

研究问题

• RQ1 是否可以增量式构建一个策略，使其质量随时间推移而提升，同时保持计算可行性？
• RQ2 在大规模决策问题中，信息的增量式引入如何影响策略质量？
• RQ3 该方法是否能在传统最优策略计算完成之前生成有用的策略？
• RQ4 在增量式构建过程中，计算开销与策略质量之间的权衡关系如何？

主要发现

• 该算法通过逐步引入可用信息，持续生成质量更高的策略，即使在最优解尚无法计算时亦可实现。
• 对于大规模决策问题，该方法在远短于传统最优策略计算所需时间的条件下，生成了具有实用价值的次优策略。
• 增量式构建过程最终会收敛至最优策略，但其设计重点在于尽早提供高质量策略。
• 在大规模问题上的实证结果表明，该算法的任意时间特性在精确方法失效时，仍能提供实际的决策支持。