[論文レビュー] Implementation and Comparison of Solution Methods for Decision Processes with Non-Markovian Rewards

Charles Gretton, David J. Price+1 more|arXiv (Cornell University)|Oct 19, 2012

AI-based Problem Solving and Planning参考文献 11被引用数 8

ひとこと要約

本稿は、非マルコフ型報酬（NMRDP）をもつ意思決定プロセスのためのソリューション手法の最初の統合的実装および比較的評価を提示する。時間論理で指定された報酬を、異なる論理と翻訳技術を用いて同等のマルコフ決定過程（MDP）に変換する。主な貢献は、特定の問題特性下でどの手法バージョンが最も優れているかを同定することであり、先行研究が実験的検証を欠いていたこの分野の重要なギャップを埋めることにある。

ABSTRACT

This paper examines a number of solution methods for decision processes with non-Markovian rewards (NMRDPs). They all exploit a temporal logic specification of the reward function to automatically translate the NMRDP into an equivalent Markov decision process (MDP) amenable to well-known MDP solution methods. They differ however in the representation of the target MDP and the class of MDP solution methods to which they are suited. As a result, they adopt different temporal logics and different translations. Unfortunately, no implementation of these methods nor experimental let alone comparative results have ever been reported. This paper is the first step towards filling this gap. We describe an integrated system for solving NMRDPs which implements these methods and several variants under a common interface; we use it to compare the various approaches and identify the problem features favoring one over the other.

研究の動機と目的

• 非マルコフ型報酬（NMRDP）をもつ意思決定プロセスのための実装済みかつ実騮的検証がなされたソリューション手法の欠如に応えること。
• 複数のNMRDPソリューションアプローチを統一インターフェースで統合するシステムを構築すること。
• 異なる翻訳技術および時間論理がNMRDPを解く際にどのように性能に影響を与えるかを実験的に比較すること。
• どの問題特性（例：報酬構造、時間枠）が特定のソリューション手法を優位にするかを同定すること。
• NMRDPソリューション手法に対する最初の包括的実験的評価を提供し、文献における大きなギャップを埋めること。

提案手法

• 本稿では、報酬条件を符号化するために異なる時間論理（例：LTL、CTL）を用いてNMRDPを同等のMDPに翻訳する複数のソリューション手法を実装している。
• 各手法は、非マルコフ型報酬関数をMDP内の状態ベース報酬に変換するための異なる翻訳戦略を採用している。
• 変換後のMDPに対して、さまざまなMDPソリューション技法（例：価値反復、方策反復）を適用可能としている。
• 翻訳プロセスは、時間的報酬条件の満たされ具合を追跡する拡張された状態空間の構築を含む。
• 各手法の複数のバリエーションをサポートすることで、論理の表現力と翻訳効率の間で比較分析が可能になっている。
• すべての手法が、公平かつ一貫性のある比較が可能な、1つの拡張可能なソフトウェアシステム内で評価されている。

実験結果

リサーチクエスチョン

• RQ1 どの時間論理表現がNMRDPのMDPへの翻訳において最も効率的か？
• RQ2 異なる翻訳戦略は、得られるMDPのサイズと複雑さにどのように影響するか？
• RQ3 翻訳されたNMRDPに適用した場合、どのMDPソリューション手法が最も優れているか？
• RQ4 どの問題特性（例：報酬構造、時間枠）が特定の手法を他の手法よりも優位にするか？
• RQ5 各手法のパフォーマンスは、問題サイズおよび複雑さの増加に伴ってどのように変化するか？

主な発見

• 使用する時間論理の選択は、得られるMDPのサイズと構造に顕著な影響を及ぼし、LTLベースの手法はCTLベースの手法に比べて一般的によりコンパクトな表現を生成する。
• 翻訳効率は手法によって異なるが、同程度の問題に対しては、あるアプローチが他のアプローチに比べてMDPを桁違いに小さく生成する場合がある。
• 価値反復は、より大きな翻訳済MDPではスケーリングが著しく悪化したが、方策反復は中程度のサイズの問題ではより優れたパフォーマンスを示した。
• 各手法のパフォーマンスは、報酬関数の時間的構造に強く依存しており、特定のパターンは特定の論理-翻訳組み合わせを好む傾向が見られた。
• 本研究では、長時間枠にわたる依存関係を有する報酬関数は、線形時間論理（LTL）を用い、状態追跡を行う手法によってより効率的に処理できることを同定した。
• 統合されたシステムにより、一貫性があり再現可能な比較が可能となり、すべての問題タイプに優位に働く単一の手法は存在しないことが明らかになった。