[論文レビュー] Anytime State-Based Solution Methods for Decision Processes with non-Markovian Rewards

Sylvie Thiébaux, Froduald Kabanza+1 more|arXiv (Cornell University)|Dec 12, 2012

Formal Methods in Verification参考文献 21被引用数 14

ひとこと要約

本稿では、将来線形時相論理（FLTL）を拡張して報酬関数を表現し、それらを最小サイズのマルコフ決定過程（MDP）に変換することで、非マルコフ的報酬を有する意思決定過程に対する、いつでも状態ベースの解法手法を提案する。この手法はモデルチェックを解法プロセスに統合しており、いつでもアルゴリズムが関連する状態空間の部分のみを探索できるようにすることで、従来の手法と比較して締切までにより優れた方策を達成する。

ABSTRACT

A popular approach to solving a decision process with non-Markovian rewards (NMRDP) is to exploit a compact representation of the reward function to automatically translate the NMRDP into an equivalent Markov decision process (MDP) amenable to our favorite MDP solution method. The contribution of this paper is a representation of non-Markovian reward functions and a translation into MDP aimed at making the best possible use of state-based anytime algorithms as the solution method. By explicitly constructing and exploring only parts of the state space, these algorithms are able to trade computation time for policy quality, and have proven quite effective in dealing with large MDPs. Our representation extends future linear temporal logic (FLTL) to express rewards. Our translation has the effect of embedding model-checking in the solution method. It results in an MDP of the minimal size achievable without stepping outside the anytime framework, and consequently in better policies by the deadline.

研究の動機と目的

• 非マルコフ的報酬を有する意思決定過程を、いつでもアルゴリズムを用いて効率的に解く挑戦に応えること。
• MDPへの有効な変換を可能にする、非マルコフ的報酬関数のコンパクトで状態ベースの表現を構築すること。
• いつでも解法手法との互換性を損なわせずに、得られるMDPのサイズを最小化すること。
• モデルチェックを解法プロセスに統合し、時間制約下での方策品質を向上させること。
• 変換が最適性を保持しつつ、段階的な方策改善を可能にすること。

提案手法

• 非マルコフ的報酬関数を、コンパクトで意味論的に正確な方法で表現できるように、将来線形時相論理（FLTL）を拡張する。
• 状態空間サイズを最小化する体系的な構成により、FLTLで表現された報酬関数を同等のMDPに変換する。
• 方策探索中に報酬条件の正当性を検証するために、モデルチェック技術を解法プロセスに統合する。
• 計算時間と方策品質のトレードオフを図る、状態ベースのいつでもアルゴリズムを用いる。
• 現在の方策近似に必要な状態空間の部分のみを構築し、効率性を向上させる。
• 得られるMDPが最小サイズでありながら、いつでも解法フレームワークと互換性を保つことを保証する。

実験結果

リサーチクエスチョン

• RQ1 非マルコフ的報酬関数は、MDPへの効率的変換を可能にするために、どのようにコンパクトに表現できるか？
• RQ2 いつでもアルゴリズムとの互換性を保ちつつ、非マルコフ的報酬を変換する際の最小MDPサイズはどの程度か？
• RQ3 モデルチェックを解法プロセスに効果的に統合することで、方策改善を効果的に導けるか？
• RQ4 本手法は、従来のアプローチと比較して、時間制約下での方策品質をどのように向上させるか？
• RQ5 状態ベースのいつでもアルゴリズムは、非マルコフ的報酬のコンパクトで意味論に配慮した変換から、どの程度恩恵を受けるか？

主な発見

• 提案されたFLTL拡張により、従来の手法と比較して、非マルコフ的報酬のよりコンパクトで意味論的に正確な表現が可能になった。
• 変換プロセスにより、いつでもフレームワークを離れない最小サイズのMDPが得られ、計算オーバーヘッドが低減された。
• 解法プロセスにモデルチェックを統合することで、方策探索中の報酬評価の正当性が保証された。
• 変換されたMDPを用いたいつでもアルゴリズムは、焦点を当てた状態空間探索のおかげで、締切までにより高い方策品質を達成した。
• 特に大規模な意思決定過程において、時間制約下での方策品質という点で、従来の変換手法を上回った。
• 最適性を保持しつつ段階的な改善を可能にするため、リアルタイム応用に適した。