[論文レビュー] Approximately Optimal Monitoring of Plan Preconditions

Craig Boutilier|arXiv (Cornell University)|Jan 16, 2013

Reliability and Maintenance Optimization参考文献 14被引用数 7

ひとこと要約

本稿では、部分的に観測可能なマルコフ決定過程（POMDP）を用いて、AI計画における計画事前条項の最適監視の近似解を提案する。単一事前条項の監視問題は tractable であり、複数事前条項のポリシーは個々の問題の解を組み合わせることで効果的に近似可能であり、計算コストを著しく削減しながらも高い計画品質を維持できることが示された。

ABSTRACT

Monitoring plan preconditions can allow for replanning when a precondition fails, generally far in advance of the point in the plan where the precondition is relevant. However, monitoring is generally costly, and some precondition failures have a very small impact on plan quality. We formulate a model for optimal precondition monitoring, using partially-observable Markov decisions processes, and describe methods for solving this model efficitively, though approximately. Specifically, we show that the single-precondition monitoring problem is generally tractable, and the multiple-precondition monitoring policies can be efficitively approximated using single-precondition soultions.

研究の動機と目的

• AI計画システムにおける計画事前条項監視の高コスト問題に対処すること。
• 監視コストと計画品質のバランスを取るために、事前条項監視をPOMDPとして定式化すること。
• 計算が非効率になる完全なPOMDP解を避ける、スケーラブルな複数事前条項監視手法の開発。
• 計算オーバーヘッドを低減する近似的だがほぼ最適な監視ポリシーの提供。
• 過剰な監視オーバーヘッドを伴わずに、事前条項の故障を早期に検出できることによる、タイムリーな再計画の実現。

提案手法

• 行動を監視意思決定とする部分的に観測可能なマルコフ決定過程（POMDP）として事前条項監視をモデル化する。
• 信念状態を用いて、時間経過に伴う事前条項満たし状態の不確実性を表現する。
• 期待コストを最小化すると同時に計画品質を保持する意思決定のシーケンスとして監視ポリシーを定式化する。
• 動的計画法を用いて単一事前条項監視問題を効率的に解く。
• 個々の単一事前条項問題の解を組み合わせることで、複数事前条項ポリシーを近似する。
• POMDPモデルの構造的性質を活用して計算複雑性を低減し、スケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 監視コストと計画品質のバランスを取るために、事前条項監視をどのようにモデル化できるか？
• RQ2 単一事前条項の最適監視の計算複雑性はどの程度か？
• RQ3 個々の単一事前条項解を用いて、複数事前条項監視を効果的に近似できるか？
• RQ4 期待コストと計画品質の観点から、近似ポリシーは最適監視ポリシーにどの程度近いか？
• RQ5 多数の事前条項を含む大規模な計画ドメインにおいて、提案手法のスケーラビリティの限界は何か？

主な発見

• 単一事前条項監視問題は tractable であり、標準的なPOMDP技術を用いて解ける。
• 複数事前条項監視ポリシーは、個々の単一事前条項解を組み合わせることで効果的に近似可能である。
• 近似手法は、著しく低い計算コストでほぼ最適な性能を達成する。
• 本手法により、事前条項の故障を早期に検出でき、タイムリーな再計画と計画のロバストネスの向上が可能になる。
• 実験結果から、本手法は監視オーバーヘッドを最小限に抑えながらも高い計画品質を維持することが示された。
• フレームワークはスケーラブルであり、複数の相互依存する事前条項を含む実世界の計画問題へも適用可能である。