[論文レビュー] Solving POMDPs by Searching the Space of Finite Policies

Nicolas Meuleau, Kee-Eung Kim+2 more|arXiv (Cornell University)|Jan 23, 2013

Reinforcement Learning in Robotics参考文献 26被引用数 147

ひとこと要約

この論文は、固定サイズの有限状態方策（オートマトンとして表現）の空間内で探索することによって、部分的に観測可能なマルコフ決定過程（POMDP）を解くための新規なアプローチを提案する。グローバルに最適な決定的方策を求めるための分枝限定法と、局所的に最適な確率的方策を求める勾配上昇法を導入し、計算複雑性を顕著に低減するとともに、ベンチマーク問題において優れた実験的性能を示している。

ABSTRACT

Solving partially observable Markov decision processes (POMDPs) is highly intractable in general, at least in part because the optimal policy may be infinitely large. In this paper, we explore the problem of finding the optimal policy from a restricted set of policies, represented as finite state automata of a given size. This problem is also intractable, but we show that the complexity can be greatly reduced when the POMDP and/or policy are further constrained. We demonstrate good empirical results with a branch-and-bound method for finding globally optimal deterministic policies, and a gradient-ascent method for finding locally optimal stochastic policies.

研究の動機と目的

• POMDPの解法の非効率性に対処するため、与えられたサイズの有限状態方策に探索を制限すること。
• POMDPおよび方策表現の構造的制約を用いることで、POMDPにおける最適方策を求める際の計算複雑性を低減すること。
• 制限された方策空間内で、グローバルに最適な決定的方策および局所的に最適な確率的方策を効率的に見つけるためのアルゴリズムを開発すること。
• 標準的なPOMDPベンチマーク問題において、提案手法の有効性を実験的に評価すること。

提案手法

• 方策を固定された状態数を持つ有限状態オートマトンとして表現することで、方策の複雑性を制限する。
• 有限方策空間内でグローバルに最適な決定的方策を体系的に探索するため、分枝限定法を適用する。
• 性能勾配に基づいて方策パラメータを繰り返し改善することで、確率的方策を最適化するための勾配上昇法を用いる。
• POMDPおよび方策の構造的制約を活用して探索空間を縮小し、計算効率を向上させる。
• 価値関数推定と方策評価を統合し、決定的および確率的方策最適化の両方のプロセスを支援する。
• 分枝限定法における枝刈り技術を用いて、非最適な方策の枝を早期に除外し、スケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 固定サイズの有限状態オートマトンに方策探索を制限することで、POMDPに対して扱いやすく効果的な解法が得られるか？
• RQ2 POMDPおよび方策の両方が制約を受ける場合、方策探索の複雑性はどのように変化するか？
• RQ3 分枝限定法は、有限方策空間内でグローバルに最適な決定的方策を発見できるか？
• RQ4 勾配上昇法は、この制限付き設定において、高品質な局所的に最適な確率的方策を特定できるか？
• RQ5 提案手法は、従来のPOMDPソルバーと比較して、解の質および計算効率の面で優れているか？

主な発見

• 分枝限定法は、有限方策空間内でグローバルに最適な決定的方策を正しくかつ完全に発見できることを示した。
• 勾配上昇法は、ベンチマーク問題においてベースライン手法を顕著に上回る性能を示す局所的に最適な確率的方策に収束することを確認した。
• POMDPおよび方策表現における構造的制約は、探索空間の顕著な縮小と計算の扱いやすさの向上をもたらした。
• 実験結果から、提案手法は複雑な観測構造を有する標準的なPOMDP問題に対しても、高品質な解を達成できることを示した。
• 従来のPOMDPソルバーが指数的複雑性のため失敗するようなスケーラブルな方策探索を可能にした。
• 有限方策表現により、現実の部分的に観測可能な環境における方策の実用的導入が可能になった。