[論文レビュー] Hierarchical Solution of Markov Decision Processes using Macro-actions

Miloš Hauskrecht, Nicolas Meuleau+3 more|arXiv (Cornell University)|Jan 30, 2013

Formal Methods in Verification参考文献 21被引用数 224

ひとこと要約

本稿では、一時的抽象的行動（マクロアクション）を意思決定の唯一の原始的要素として用いる階層的マルコフ決定過程（MDP）フレームワークを提案する。マクロアクション領域間の境界状態のみをモデル化することで、状態空間を著しく削減する。これらの境界状態を用いて抽象MDPを構築し、それを効率的に解くことで、収束が速くなり、関連するタスク間で計画を再利用可能となる。実験結果では、平坦MDPと比較して顕著な計算コストの削減とスケーラビリティの向上が示された。

ABSTRACT

We investigate the use of temporally abstract actions, or macro-actions, in the solution of Markov decision processes. Unlike current models that combine both primitive actions and macro-actions and leave the state space unchanged, we propose a hierarchical model (using an abstract MDP) that works with macro-actions only, and that significantly reduces the size of the state space. This is achieved by treating macroactions as local policies that act in certain regions of state space, and by restricting states in the abstract MDP to those at the boundaries of regions. The abstract MDP approximates the original and can be solved more efficiently. We discuss several ways in which macro-actions can be generated to ensure good solution quality. Finally, we consider ways in which macro-actions can be reused to solve multiple, related MDPs; and we show that this can justify the computational overhead of macro-action generation.

研究の動機と目的

• 大規模な状態空間環境における従来のMDPのスケーラビリティの制限を解決すること。
• 原始的アクションの代わりにマクロアクションを用いて状態空間を抽象化することで、計算複雑性を低減すること。
• マクロアクションのみで動作する階層的MDPモデルを構築し、解の品質を維持すること。
• マクロアクションの生成コストを相殺するため、複数の関連するMDP間でマクロアクションを再利用可能にする仕組みを提供すること。
• マクロアクション領域間の境界状態に注目することで、計画の効率を向上させること。

提案手法

• 状態空間におけるマクロアクションが適用される領域の境界を状態として表現する抽象MDPを構築する。
• マクロアクションは、特定の状態空間領域内で動作する局所的方策と見なし、遷移は領域の境界でのみ定義される。
• 抽象MDPは元のMDPを近似するが、状態空間が著しく削減されており、値反復や方策反復が高速化される。
• マクロアクションはオプションまたはオプションベースの学習を用いて生成され、その領域内で効果的かつ一貫性のあるものとなる。
• 抽象MDPの解を元のMDPに射影することで、全問題に対する方策が得られる。
• 関連するMDP間でマクロアクションを保存・再利用することで、マクロアクション生成のコストを相殺できる。

実験結果

リサーチクエスチョン

• RQ1 マクロアクションのみを用いた階層的MDPフレームワークは、状態空間を著しく削減し、計画の効率を向上させることができるか？
• RQ2 抽象MDPで高品質な解を得るために、マクロアクションはどのように生成すべきか？
• RQ3 複数の関連するMDP間でマクロアクションを再利用することは、その生成にかかる計算コストを正当化できるか？
• RQ4 抽象MDPは、元のMDPを良い近似として提供しつつ、収束を速くできるか？
• RQ5 抽象モデルにおいて、すべての状態ではなく境界状態に注目することで、どのような影響があるか？

主な発見

• マクロアクションのみを用いた抽象MDPは、状態空間の大幅な縮小を実現し、解法時間の短縮に寄与する。
• 境界状態の抽象化を用いた階層的アプローチは、大規模な問題において平坦MDPを上回る計算効率を示す。
• オプションベースの手法で生成されたマクロアクションは、抽象MDPに適用しても高い解の品質を維持する。
• 関連するMDP間でマクロアクションを再利用することで、全体の計画コストが削減され、マクロアクション作成の初期投資が正当化される。
• 従来のMDPソルバーが状態空間の爆発により失敗するような大規模な問題に対しても、本手法はスケーラビリティを示す。
• 実験結果から、抽象MDPの解は、元のMDPの最適方策をよく近似していることが示された。