[論文レビュー] Omega-Regular Objectives in Model-Free Reinforcement Learning

Ernst Moritz Hahn, Mateo Perez+4 more|arXiv (Cornell University)|Sep 26, 2018

Formal Methods in Verification被引用数 6

ひとこと要約

本稿では、マークフ・意思決定過程におけるオメガ正則目的の確実満たしのための、初めてのモデルフリー強化学習手法を提示する。目的を限界決定的 Büchi 規則にコンパイルし、問題を確実到達性に還元することで、決定的 Rabin 規則に依存せずに、標準的な時系列差分アルゴリズムが最適戦略を学習可能となる。決定的 Rabin 規則は一時的受容遷移のため、最適方策を特定できなくなることがある。

ABSTRACT

We provide the first solution for model-free reinforcement learning of ω-regular objectives for Markov decision processes (MDPs). We present a constructive reduction from the almost-sure satisfaction of ω-regular objectives to an almost- sure reachability problem and extend this technique to learning how to control an unknown model so that the chance of satisfying the objective is maximized. A key feature of our technique is the compilation of ω-regular properties into limit- deterministic Buechi automata instead of the traditional Rabin automata; this choice sidesteps difficulties that have marred previous proposals. Our approach allows us to apply model-free, off-the-shelf reinforcement learning algorithms to compute optimal strategies from the observations of the MDP. We present an experimental evaluation of our technique on benchmark learning problems.

研究の動機と目的

• MDPにおけるオメガ正則目的のためのモデルフリー強化学習を解決すること。目的は累積報酬ではなく、長期的な行動要件として表現される。
• 決定的 Rabin 規則に基づく従来手法の失敗を解消すること。一時的受容遷移のため、戦略が誤って順位付けされることがある。
• 限界決定的 Büchi 規則を用いて、オメガ正則目的の確実満たしを、確実到達性への構成的還元を提供すること。
• 目的を限界決定的 Büchi 規則にコンパイルし、最適方策の特定を保証する報酬構造に変換することで、未知の MDP に対して、市販のモデルフリー強化学習アルゴリズム（例：Q学習）を適用可能にすること。
• パrameter ζ が 1 に近づくにつれて、状態の価値が最大の目的満たし確率に近づくことを示し、最適方策への収束を保証すること。

提案手法

• 一時的受容遷移の問題を回避するため、決定的 Rabin 規則の代わりにオメガ正則目的を限界決定的 Büchi 規則にコンパイルする。
• 元の MDP と Büchi 規則の積 MDP を構築し、状態行動の連携動作をモデル化する。
• Büchi 規則の受容条件に基づく報酬関数を定義し、積 MDP 内の受容状態に訪問した場合にのみ報酬を付与する。
• 変換された MDP に対して時系列差分学習（例：Q学習）を用い、オメガ正則目的の満たし確率を最大化する戦略を学習する。
• 一時的受容遷移への感受性を制御するパrameter ζ を導入し、真の最適方策への徐徐な収束を可能にする。
• Mungojerrie モデル・チェッカーを用いて満たし確率を検証し、強化学習の結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 オメガ正則目的（累積報酬ではなく長期的行動満たしを目的とする）を有する MDP に対して、モデルフリー強化学習を効果的に適用できるか？
• RQ2 なぜ従来の決定的 Rabin 規則に基づく手法は、特定の MDP において最適方策を特定できないのか？
• RQ3 限界決定的 Büchi 規則を用いて、市販の強化学習アルゴリズムがオメガ正則目的の最適方策を学習可能となる報酬関数を構築できるか？
• RQ4 提案手法により、パrameter ζ が 1 に近づくにつれて、状態の価値が目的満たし確率の最大値に近づくことが保証されるか？
• RQ5 数値計算において、特に確率的要因が存在する状況下でも、一時的受容遷移と再発的受容遷移を信頼性高く区別できるか？

主な発見

• 提案手法は、従来の Rabin ベース手法が失敗する可能性があるすべてのテスト MDP において、最適方策を正しく学習した。
• 延期モデルでは、ζ が十分に高い（例：0.9999）場合にのみ、RL アルゴリズムが戦略 b（確率 1）を最適と正しく特定した。これは、ζ のチューニングが戦略の誤順位付けを回避するために重要であることを示している。
• twoPairs、riskReward、grid5x5 などのモデルでは、RL アルゴリズムが満たし確率 1.0 を達成し、モデルチェッカーの結果と一致した。
• frozenSmall が最大満たし確率 0.823 であることを正しく特定した。報酬変換の正しさを確認した。
• ζ が増加するにつれて、pφ（満たし確率）の値が単調に増加し、中間戦略の品質が向上することが確認された。これは定理 3 と整合的である。
• Rabin ベース手法が満たし確率を低く見積もる問題を回避した。延期モデルでは、Rabin ベース手法が誤って pφ = 0.5 を割り当ててしまうことが示された。