[論文レビュー] Inductive Policy Selection for First-Order MDPs

Sung‐Wook Yoon, Alan Fern+1 more|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 24被引用数 67

ひとこと要約

本論文は、物体の数が異なるドメインにわたる一般化を可能にする、1次マルコフ決定過程（MDP）の誘導的方策選択手法を提案する。PGraphplanを用いて生成された訓練データから意思決定リストのアンサンブルを学習することで、従来の動的計画法では到達できない大規模で確率的かつ関係的MDPにもスケーリング可能であり、ブロック積み上げや物流といった複雑なドメインにおいて効果的な一般化を示している。

ABSTRACT

We select policies for large Markov Decision Processes (MDPs) with compact first-order representations. We find policies that generalize well as the number of objects in the domain grows, potentially without bound. Existing dynamic-programming approaches based on flat, propositional, or first-order representations either are impractical here or do not naturally scale as the number of objects grows without bound. We implement and evaluate an alternative approach that induces first-order policies using training data constructed by solving small problem instances using PGraphplan (Blum & Langford, 1999). Our policies are represented as ensembles of decision lists, using a taxonomic concept language. This approach extends the work of Martin and Geffner (2000) to stochastic domains, ensemble learning, and a wider variety of problems. Empirically, we find "good" policies for several stochastic first-order MDPs that are beyond the scope of previous approaches. We also discuss the application of this work to the relational reinforcement-learning problem.

研究の動機と目的

• 物体の数が無制限である大規模な1次MDPにおける従来の動的計画法のスケーラビリティの限界を克服すること。
• 再訓練を一切行わずに、サイズが異なるドメイン間での方策一般化を可能にすること。
• 関係的強化学習の先行研究を確率的環境およびアンサンブル学習に拡張すること。
• 関係的構造を有する複雑な現実世界の計画問題に効率的にスケーリング可能な手法を開発すること。
• 従来の手法ではカバーできない範囲の確率的1次MDPにおける方策学習の実用的フレームワークを提供すること。

提案手法

• 関係的一般化のための分類的概念言語を用いて、意思決定リストのアンサンブルとして方策を表現する。
• 1次ドメインの計画アルゴリズムであるPGraphplanを用いて、MDPの小規模インスタンスを解くことで訓練データを生成する。
• 生成されたデータに対して誘導的学習を適用し、より大きな問題インスタンス用の一般化可能な方策を導出する。
• オブジェクトおよび関係の間の構造的パターンを捉えるために、1次表現を活用する。
• 方策学習に確率的結果を組み込むことで、確率的ドメインをサポートする。
• 関係的かつ階層的な概念言語により、コンactかつ一般化可能な方策表現を実現する。

実験結果

リサーチクエスチョン

• RQ1 誘導的方策学習は、1次MDPにおける物体数の増加に伴って一般化可能か？
• RQ2 小規模インスタンスで訓練された意思決定リストアンサンブルは、大規模で確率的かつ関係的なMDPにスケーリング可能か？
• RQ3 本手法は、スケーラビリティおよびパフォーマンスの観点で、従来の動的計画法と比べてどのように差をつけるか？
• RQ4 方策表現は、未観測のドメインサイズに対してもどの程度一般化可能か？
• RQ5 本手法は、複雑な現実世界の関係的計画問題に効果的に適用可能か？

主な発見

• 本手法は、従来の動的計画法では到達不可能な確率的1次MDPに対しても、『良い』方策を効果的に学習できた。
• 物体数の増加に伴っても、再訓練なしに方策が効果的に一般化された。
• 平坦または命題的表現では失敗する大規模ドメインに対しても、本手法はスケーラブルであることを示した。
• 実験結果から、学習された方策はブロック積み上げおよび物流問題においてベースライン手法を上回ることを示した。
• 意思決定リストアンサンブルの使用により、コンactで解釈可能かつ一般化可能な方策表現が実現された。
• 本フレームワークは関係的強化学習に適用可能であり、先行研究を確率的設定に拡張した。