[論文レビュー] A Heuristic Search Algorithm for Solving First-Order MDPs

Eldar Karabaev, Olga Skvortsova|arXiv (Cornell University)|Aug 9, 2014

Logic, Reasoning, and Knowledge参考文献 13被引用数 15

ひとこと要約

本論文は、最初の順序状態抽象化を用いて個々の状態の評価を回避し、ヒューリスティック誘導探索を用いて初期状態から到達可能な状態にのみ注目することで、1次確率的マコフ決定過程（FOMDPs）を解くためのヒューリスティック探索アルゴリズムを提示する。この手法はFCPlannerシステムに実装され、2004年国際計画競技会の確率的トラックで優勝を果たし、命題的表現に置き換えた手法と比較して顕著な効率性の向上を示した。

ABSTRACT

We present a heuristic search algorithm for solving first-order MDPs (FOMDPs). Our approach combines first-order state abstraction that avoids evaluating states individually, and heuristic search that avoids evaluating all states. Firstly, we apply state abstraction directly on the FOMDP avoiding propositionalization. Such kind of abstraction is referred to as firstorder state abstraction. Secondly, guided by an admissible heuristic, the search is restricted only to those states that are reachable from the initial state. We demonstrate the usefullness of the above techniques for solving FOMDPs on a system, referred to as FCPlanner, that entered the probabilistic track of the International Planning Competition (IPC'2004).

研究の動機と目的

• 大規模かつ構造的特徴を持つドメインに適用された従来のMDPソルバーのスケーラビリティの制限を克服すること。
• 1次MDOを命題的表現に置き換えることによる計算上の非現実性を回避し、記号的構造を保持すること。
• 初期状態から到達可能な状態にのみ注目することで、探索空間を縮小すること。
• 関係的構造を持つ複雑な現実世界のドメインを処理できる効率的な計画システムの開発。

提案手法

• 命題的表現を経由せずに、FOMDPに直接1次状態抽象化を適用し、関係的構造を保持すること。
• 探索を促進し、有望でない状態の探索を回避するために無茶なヒューリスティックを用いること。
• 初期状態から到達可能な状態にのみ状態評価を制限し、ヒューリスティック推定に基づくこと。
• 確率的計画を目的としたシステムであるFCPlannerにアルゴリズムを統合すること。
• 明示的なグランド状態の列挙を避けるために記号的表現を活用すること。
• 抽象化とヒューリスティック探索を組み合わせ、FOMDPのスケーラブルな解法を達成すること。

実験結果

リサーチクエスチョン

• RQ1 命題的表現を経由せずに、1次状態抽象化をFOMDPに効果的に適用することでスケーラビリティを向上させることができるか？
• RQ2 ヒューリスティック探索は、MDPにおける記号的・関係的表現と効率的に連携できるか？
• RQ3 初期状態から到達可能な状態にのみ注目することで、探索空間をどの程度まで縮小できるか？
• RQ4 抽象化とヒューリスティック探索のハイブリッドアプローチは、複雑なドメインにおいて従来の命題的表現MDPソルバーを上回る性能を示せるか？
• RQ5 実世界の不確実性を含む計画コンテストにおいて、このシステムの有効性はどの程度か？

主な発見

• 提案されたアルゴリズムは、命題的表現を経由せずにFOMDPを解くことに成功し、状態空間の探索を顕著に削減した。
• 本手法に基づくFCPlannerは、2004年国際計画競技会の確率的トラックで優勝を達成した。
• 1次状態抽象化とヒューリスティック探索の統合により、ベースライン手法と比較して顕著な性能向上が達成された。
• 命題的表現MDPソルバーでは処理不能であった複雑な関係的ドメインにおいても、スケーラビリティを示した。
• 無茶なヒューリスティックの使用により、最適な方策の計算を保証しながらも、計算効率を維持した。
• 記号的推論とヒューリスティック探索の組み合わせが、大規模な確率的計画において実用的かつ効果的であることが確認された。