[論文レビュー] Permissive Finite-State Controllers of POMDPs using Parameter Synthesis

Sebastian Junges, Nils Jansen+5 more|arXiv (Cornell University)|Oct 24, 2017

Reinforcement Learning in Robotics参考文献 1被引用数 5

ひとこと要約

本稿では、部分的に観測可能なマルコフ意思決定過程（POMDPs）に対して、証明可能に正しい有限記憶、ランダム化制御則（FSCs）を合成するための新規手法を提案する。この問題は、パrametric Markov chains（pMCs）におけるパrameter合成に還元される。本手法は、PRISM や PARAM といった既存の pMC ツールを活用し、効率的に許容的で近似的に最適な FSCs を計算可能にし、標準ベンチマークにおいて、しばしば数秒以内で、小さな記憶制約のもとで、最先端の POMDP ソルバーよりも競争力のある性能を達成する。

ABSTRACT

We study finite-state controllers (FSCs) for partially observable Markov decision processes (POMDPs) that are provably correct with respect to given specifications. The key insight is that computing (randomised) FSCs on POMDPs is equivalent to - and computationally as hard as - synthesis for parametric Markov chains (pMCs). This correspondence allows to use tools for parameter synthesis in pMCs to compute correct-by-construction FSCs on POMDPs for a variety of specifications. Our experimental evaluation shows comparable performance to well-known POMDP solvers.

研究の動機と目的

• 期待報酬や到達・回避確率といった複雑な仕様を満たす、POMDPにおける正しく構築された有限状態制御則（FSCs）を合成する課題に対処すること。
• POMDP戦略合成とパラメトリック・マルコフ連鎖（pMC）のパラメータ合成の間のギャップを埋め、両者が計算的に同等であることを示すこと。
• 成熟した最適化された pMC 合成ツール（例：PRISM、PARAM）を用いて、POMDP における FSC 生成を可能にし、専用の POMDP ソルバーよりも競争力のある代替手段を提供すること。
• FSC における許容的戦略を、パラメータのインスタンス化領域として形式化し、制御則合成におけるロバストネスと柔軟性を向上させること。
• 標準 POMDP ベンチマーク上で本手法を評価し、小さな記憶制約のもとでスケーラビリティと近似的最適性を示すこと。

提案手法

• 鍵となる洞察は、固定された FSC 構造を有する POMDP が、FSC の行動選択に由来する確率でパrameter化された遷移を有するパラメトリック・マルコフ連鎖（pMC）と同型であるということである。
• FSC 合成問題は、pMC におけるパラメータ合成に還元される：POMDP の戦略は、pMC におけるパラメータインスタンスに対応する。
• 最先端の pMC ツール（例：PRISM、PARAM、PROPhESY）を用いてパラメータ合成問題を解き、その最適化およびスケーラビリティを活用する。
• 2 種類のパラメータ合成技術を評価する：逐次二次計画法（QCQP）と粒子群最適化（PSO）、両者とも仕様を満たすパラメータインスタンスを探索するために用いられる。
• 本手法は、単一の最適点ではなく、仕様を満たすパrameter値の領域を特定することで、許容的戦略をサポートする。
• SMT およびパラメータリフト技術を用いて、与えられたしきい値を超えるより良い戦略が存在しないことを示すことで、ε-最適性の証明を含むメカニズムを備える。

実験結果

リサーチクエスチョン

• RQ1 既存のパラメータ合成ツールを用いて、POMDP における有限状態制御則（FSCs）を正しく構築可能な形で合成可能か？
• RQ2 POMDP における FSC 合成の計算複雑性は、pMC におけるパラメータ合成とどのように関係しているか？
• RQ3 pMC を用いた合成は、性能および最適性の観点で、専用の POMDP ソルバーよりも競争的または優れている FSC を生成可能か？
• RQ4 記憶サイズおよび FSC のトポロジー（例：完全接続型対カウンタベース型）が、合成プロセスのスケーラビリティおよびパフォーマンスに与える影響は何か？
• RQ5 本手法は、合成された FSC の ε-最適性を証明可能か？また、誘導された確率の閉形式表現を計算可能か？

主な発見

• 本稿では、POMDP における FSC 合成と pMC におけるパラメータ合成との間で、正式な同等性を確立し、両問題が同程度の難易度であることを示した。
• 本手法は競争力のあるパフォーマンスを達成した：数千の状態を有する多くのベンチマークが、小さな記憶制約（k ≤ 8）のもとで 1 秒未塔で解かれた。
• 同じベンチマークセットにおいて、PSO と QCQP は補完的性能を示した。両者ともすべてのインスタンスで優位に立つことはなく、一部のインスタンスでは QCQP が速く、他のインスタンスでは PSO が速かった。
• パラメータリフトおよび SMT を用いて、数百のパラメータを有する非自明なしきい値（k=8 まで）についても、ε-最適性を成功裏に証明した。
• 小さな記憶制約では閉形式解が計算可能であったが、複雑性は大きく変動した。例えば、あるケースでは定数関数が得られ、別のケースでは約 100 万項の有理関数が得られた。
• カウンタベースの FSC（記憶ノードが逐次的に進行するもの）は、パラメータの爆発を軽減し、完全接続型 FSC よりも大きなインスタンスを解けるようにした。