[論文レビュー] Robust Satisfaction of Temporal Logic Specifications via Reinforcement Learning

Austin Jones, Derya Aksaray+3 more|arXiv (Cornell University)|Oct 22, 2015

Formal Methods in Verification参考文献 15被引用数 14

ひとこと要約

本稿では、未知の確率的ダイナミクスを有するシステムを、信号時相論理（STL）の整合性度を連続的報酬信号として用いるQ学習ベースの強化学習フレームワークを提案する。期待整合性度の最大化により、単なる満たし確率の最大化よりも優れた収束性と性能を達成し、特に訓練データが限られた状況でも顕著である。本手法は、整合性度と満たし確率の両方の最大化において、最適方策に確かに収束することが保証される。

ABSTRACT

We consider the problem of steering a system with unknown, stochastic dynamics to satisfy a rich, temporally layered task given as a signal temporal logic formula. We represent the system as a Markov decision process in which the states are built from a partition of the state space and the transition probabilities are unknown. We present provably convergent reinforcement learning algorithms to maximize the probability of satisfying a given formula and to maximize the average expected robustness, i.e., a measure of how strongly the formula is satisfied. We demonstrate via a pair of robot navigation simulation case studies that reinforcement learning with robustness maximization performs better than probability maximization in terms of both probability of satisfaction and expected robustness.

研究の動機と目的

• 未知の確率的ダイナミクスを有するシステムを、信号時相論理（STL）で指定された複雑で時間に依存するタスクを満たすように制御する課題に対処すること。
• 期待整合性度の最大化を最適化する、保証された収束性を有する強化学習アルゴリズムを構築すること。ここで、整合性度とは、軌道が仕様をどの程度強く満たしているかを表す連続的指標である。
• 限られた訓練エピソードにおいても、満たし確率と整合性度の両面で、従来の確率最大化よりも整合性度最大化が優れていることを実証すること。
• 履歴依存のSTL仕様を、τステップの状態履歴を用いて表現する有限ホライズンのマークフ・決定過程（τ-MDP）を構築し、効果的な学習を可能にすること。

提案手法

• システムは、STL仕様の履歴依存性を捉えるために、最後のτ観測値を状態として表現するτ-MDPとしてモデル化される。
• 報酬関数はSTL整合性度から導出され、Q学習アルゴリズムを用いてQ値を観測報酬に基づいて反復的に更新することで、方策を学習する。
• 各軌道セグメントについて整合性度が計算され、軌道がSTL式をどの程度よく満たしているかを連続的かつ微分可能に測定する。
• 2つの学習目的を定義する：STL式の満たし確率の最大化と、期待整合性度の最大化。両者ともに収束保証が与えられる。
• τ-MDPの構築により、U[ a,b ) などの時間制限付きSTL演算子が、有限履歴のエンコードによって処理され、自動機に基づく翻訳の必要がなくなる。
• 2つのロボットナビゲーションシミュレーション事例を通じて、時間制約付きの領域ベースの時相タスクを対象に、手法の有効性を検証した。

実験結果

リサーチクエスチョン

• RQ1 システムのダイナミクスが未知で確率的である状況下で、整合性度最大化による強化学習が、確率最大化を上回る性能を示せるか？
• RQ2 期待整合性度の最大化は、満たし確率の最大化のみに依存する場合と比較して、与えられたSTL式の満たし確率にどのような影響を及えるか？
• RQ3 部分的訓練（限られたエピソード）が、整合性度最大化と確率最大化の両方のポリシーの収束性と性能に与える影響は何か？
• RQ4 どのような状況下で整合性度最大化が確率最大化を包含し、また、ポリシー品質において両者がどのように乖離するか？
• RQ5 有限履歴を用いたτ-MDPの使用は、時間制限付きSTL演算子の意味論をどのように正確に捉え、効果的な学習を可能にするか？

主な発見

• ケーススタディ1では、確率最大化と整合性度最大化の両方とも100％の満たし確率を達成したが、整合性度最大化は平均整合性度が著しく高く（0.2617 vs. 0.2287）なった。
• ケーススタディ2では、確率最大化は満たし方策を学習できず（0％の満たし確率）、一方で整合性度最大化は100％の満たし確率を達成し、平均整合性度は0.1052であった。
• 整合性度最大化ポリシーは、満たし方策の集合が小さく、発見が難しい状況でも、確率最大化ポリシーに比べてより速くかつ信頼性高く収束した。
• 確率最大化アルゴリズムは、ほとんど満たしに近い軌道に対して部分的報酬がないため、ほぼランダム探索に近い振る舞いを示したが、整合性度最大化により方向性のある探索が可能になった。
• τ-MDPの構築により、履歴依存のSTL意味論が効果的にエンコードされ、自動機に基づく翻訳を必要とせずに学習が可能となった。
• 最適な整合性度ポリシーが確率1で仕様を満たす場合に限り、整合性度最大化が確率最大化を包含することが示されたが、それ以外の場合はそうではない。