[論文レビュー] Optimal Limited Contingency Planning

Nicolas Meuleau, David E. Smith|arXiv (Cornell University)|Oct 19, 2012

Reinforcement Learning in Robotics参考文献 17被引用数 30

ひとこと要約

この論文は、決定点と分岐数に厳密な制限がある中で最適な意思決定方針を求める、任意のタイミングで最適化可能なkコンティンジェンシー計画（OKP）のアルゴリズムを紹介する。問題を部分的に観測可能なマルコフ意思決定過程（POMDP）としてモデル化し、賢いプルーニングを伴うベルマン最適性原理を適用することで、すべての可能なコンティンジェンシー計画を明示的に列挙することなく、制限された計画の複雑さのもとでも近似的に最適な解を効率的に計算可能にする。

ABSTRACT

For a given problem, the optimal Markov policy can be considerred as a conditional or contingent plan containing a (potentially large) number of branches. Unfortunately, there are applications where it is desirable to strictly limit the number of decision points and branches in a plan. For example, it may be that plans must later undergo more detailed simulation to verify correctness and safety, or that they must be simple enough to be understood and analyzed by humans. As a result, it may be necessary to limit consideration to plans with only a small number of branches. This raises the question of how one goes about finding optimal plans containing only a limited number of branches. In this paper, we present an any-time algorithm for optimal k-contingency planning (OKP). It is the first optimal algorithm for limited contingency planning that is not an explicit enumeration of possible contingent plans. By modelling the problem as a Partially Observable Markov Decision Process, it implements the Bellman optimality principle and prunes the solution space. We present experimental results of applying this algorithm to some simple test cases.

研究の動機と目的

• 安全上の重要な応用やシミュレーションが重い応用分野における、コンactで人間が理解可能な計画の必要に対応すること。
• 決定点と分岐数がkに制限された条件下で最適な意思決定方針を見つけること。
• すべての可能なコンティンジェンシー計画を全列挙する代替手段としてのスケーラブルな手法の開発。
• 解の品質を損なわずに構造的制限が厳しい条件下での最適計画を可能にすること。

提案手法

• 制限付きコンティンジェンシー計画問題を部分的に観測可能なマルコフ意思決定過程（POMDP）としてモデル化する。
• k分岐制約下での最適方針探索をガイドするため、ベルマン最適性原理を適用する。
• 動的計画法とプルーニング技術を用いて、探索の初期段階で劣悪な部分計画を早期に除外する。
• 計算時間の延長に応じて次第に改善する解を提供する、任意のタイミングで最適化可能なアルゴリズムを実装する。
• 最も有望な部分方針のみを追跡することで、候補計画の集合をコンパクトに維持する。
• 状態空間の抽象化と価値関数の近似を活用して、計算複雑性を低減する。

実験結果

リサーチクエスチョン

• RQ1 決定点と分岐数がkに制限された条件下で、最適な意思決定方針をどのように見つけることができるか？
• RQ2 すべての可能性を列挙しないで、コンティンジェンシー計画の空間を効率的に探索する方法は何か？
• RQ3 構造的制約下で最適性を保証する任意のタイミングで最適化可能なアルゴリズムを設計できるか？
• RQ4 ベルマン原理に基づくプルーニングは、制限付きコンティンジェンシー計画におけるスケーラビリティをどのように向上させるか？
• RQ5 明示的列挙手法と比較して、どのような性能向上が達成可能か？

主な発見

• OKPアルゴリズムは、すべての可能なコンティンジェンシー計画を明示的に列挙することなく、最適なkコンティンジェンシー計画を効果的に計算可能である。
• 小さなテストケースにおいて、アルゴリズムはスケーラビリティと効率性を示し、計算時間の点で単純な列挙法を上回っている。
• ベルマン最適性原理に基づくプルーニングは、探索空間を顕著に削減し、実行時間のパフォーマンスを向上させている。
• アルゴリズムの任意のタイミングで最適化の性質により、計算時間が延びるにつれて次第に改善された解が得られる。
• 実験結果から、k分岐制約下で最適方針が正しく見つかることが確認され、手法の正しさが裏付けられている。
• 本手法により、コンパクトで解釈可能かつ検証可能な計画が、実用的な応用分野で可能になる。