[論文レビュー] An Anytime Algorithm for Decision Making under Uncertainty

Michael C. Horsch, David Poole|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用数 45

ひとこと要約

本稿では、多段階のインフルエンス図を用いた不確実性下での意思決定のための、いつでもアルゴリズムを提示する。このアルゴリズムは、各段階で利用可能な情報が増えるにつれて、次第に劣化する方策を構築する。従来の手法では最適解が計算可能でない大規模問題において、最適解が得られる以前に価値ある方策を生成できることを示している。

ABSTRACT

We present an anytime algorithm which computes policies for decision problems represented as multi-stage influence diagrams. Our algorithm constructs policies incrementally, starting from a policy which makes no use of the available information. The incremental process constructs policies which includes more of the information available to the decision maker at each step. While the process converges to the optimal policy, our approach is designed for situations in which computing the optimal policy is infeasible. We provide examples of the process on several large decision problems, showing that, for these examples, the process constructs valuable (but sub-optimal) policies before the optimal policy would be available by traditional methods.

研究の動機と目的

• 不確実性下での大規模意思決定問題における最適方策の計算に直面する課題に対処すること。
• 最適解が計算可能になる前にも、有用な劣化方策を段階的に生成する手法を開発すること。
• 正確な最適方策の計算が非現実的である現実世界の状況において、実用的な意思決定支援を可能にすること。
• 大規模なインフルエンス図問題における段階的方策構築の有効性を示すこと。

提案手法

• アルゴリズムは、すべての利用可能な情報を無視する方策から始め、段階的に方策に情報を組み込むことで、品質を段階的に向上させる。
• 各ステップで、利用可能な情報の一部を方策に含め、品質を段階的に改善する。
• この手法は、意思決定、確率的変数、および複数段階にわたる利益をモデル化するインフルエンス図表現に基づいている。
• 各段階でどの情報を含めるかを優先順位付けするために、情報の価値のアプローチを用いる。
• 部分的方策の期待効用を計算するために動的計画法の原則を活用する。
• このプロセスはいつでもアルゴリズムとして設計されており、任意の時点で有効な方策を返すことができ、品質は時間とともに向上する。

実験結果

リサーチクエスチョン

• RQ1 計算的に実行可能である限り、品質が時間とともに向上する段階的方策を構築できるか？
• RQ2 大規模意思決定問題において、情報の段階的統合が方策品質に与える影響は何か？
• RQ3 このアプローチは、従来の最適方策計算が完了する前にも、有用な方策を生成できるか？
• RQ4 段階的構築プロセスにおいて、計算負荷と方策品質のトレードオフは何か？

主な発見

• 最適解が計算可能になる前でさえ、利用可能な情報を段階的に組み込むことで、品質が向上する方策が生成される。
• 大規模意思決定問題では、従来の最適方策計算に比べてはるかに短時間で、価値ある劣化方策が生成される。
• 段階的構築プロセスは最適方策に収束するが、優れた方策の早期提供を目的として設計されている。
• 大規模問題における実験的結果から、アルゴリズムのいつでも性質により、正確な手法が失敗する状況でも実用的な意思決定支援が得られることが示された。