[論文レビュー] Tractable Reinforcement Learning of Signal Temporal Logic Objectives

Harish K. Venkataraman, Derya Aksaray+1 more|arXiv (Cornell University)|Jan 26, 2020

Formal Methods in Verification参考文献 14被引用数 13

ひとこと要約

本稿は、信号時相論理（STL）の目的関数に対する扱いやすい強化学習手法を提案する。そのために、部分論理式の満たし状態を表すフラグを用いて状態履歴をコンactに符号化するF-MDP（フラグベースマルコフ決定過程）を導入している。この手法により、多項式的状態空間成長を伴う効率的なQ学習が可能となり、従来のτ-MDPと比較して計算複雑性を顕著に低減しつつ、STL仕様の近似的最適満たし確率を達成する。

ABSTRACT

Signal temporal logic (STL) is an expressive language to specify time-bound real-world robotic tasks and safety specifications. Recently, there has been an interest in learning optimal policies to satisfy STL specifications via reinforcement learning (RL). Learning to satisfy STL specifications often needs a sufficient length of state history to compute reward and the next action. The need for history results in exponential state-space growth for the learning problem. Thus the learning problem becomes computationally intractable for most real-world applications. In this paper, we propose a compact means to capture state history in a new augmented state-space representation. An approximation to the objective (maximizing probability of satisfaction) is proposed and solved for in the new augmented state-space. We show the performance bound of the approximate solution and compare it with the solution of an existing technique via simulations.

研究の動機と目的

• τ-MDPにおける指数的状態空間成長に起因する、STL満たし方策の学習における計算非効率性に対処する。
• τ-MDPの制限を克服する。τ-MDPは有限時間窓τ内での完全な状態履歴を保存する必要があり、m^τの状態空間爆発を引き起こす。
• 完全な状態シーケンスの保存を避けながら、STL満たしに必要な履歴情報を保持するコンactでスケーラブルな表現を構築する。
• 拡張状態空間上で効率的なモデルフリー強化学習（Q学習）を可能にし、STL仕様の満たし確率を最大化する。
• 理論的性能バインドと実験的検証を提供し、長時間スケジュールのSTL仕様においてスケーラビリティと学習速度の向上を示す。

提案手法

• STL部分論理式の部分満たし状態を追跡するフラグ状態を導入した、新たなMDP定式化であるF-MDPを提案する。
• STL仕様内の各部分論理式に対してフラグ状態を定義し、各フラグがその時間窓内に部分論理式が満たされたかを追跡する。
• 完全な状態履歴の保存を避けるために、履歴情報をコンパクトに維持する再帰的フラグ更新メカニズムを用いる。
• F-MDPにおけるSTL満たし確率の最大化を学習目的とし、誤差が有界である近似を実現する。
• STLのロバストネスとフラグ遷移に基づく報酬関数を用いて、F-MDP上でQ学習を適用し、サンプル効率の良い方策学習を可能にする。
• F-MDPの状態空間複雑度が、時間窓τに対して多項式的O(|Σ| × (h+1)^k)であることを証明する。ここでhは部分論理式の最大時間窓、kは部分論理式の数である。

実験結果

リサーチクエスチョン

• RQ1 STL目的のための強化学習において、指数的状態空間成長を回避するコンパクトな状態表現を設計可能か？
• RQ2 F-MDPに基づく方策は、τ-MDPベースラインと比較して、満たし確率および学習効率においてどのように差を示すか？
• RQ3 真のSTL満たし確率目的関数に対する、提案手法の近似の理論的性能バインドは何か？
• RQ4 F-MDP定式化は、τ-MDPでは不可能な長時間スケジュールおよび複雑な仕様にスケーラブルに拡張可能か？
• RQ5 フラグベース表現は、STLタスクにおけるQ学習の収束速度とメモリ使用量を低下させるか？

主な発見

• F-MDP定式化により、τ-MDPにおける指数的状態空間複雑度（m^τ）が、時間窓τと部分論理式数kに対して多項式的（|Σ| × (h+1)^k）に低減された。
• τ = 3の場合、F-MDPは6分の学習時間と2.9×10³のメモリ単位を要したが、τ-MDPは21分と1.7×10⁴単位を要し、3.5倍の高速化と6倍のメモリ削減が達成された。
• τ = 5の場合、F-MDPは18分と18×10³のメモリを使用したが、τ-MDPは290分と1×10⁶単位を要し、16倍の高速化と55倍のメモリ削減が達成された。
• h=5（τ=6）のパトロールタスクでは、τ-MDPがメモリオーバーフロー（配列サイズ超過）により失敗したが、F-MDPは24分と24×10³単位で正常に完了した。
• F-MDPを用いて学習した方策は、h=5の条件下でPr[s₀:17 |= Φ₂] = 0.8432を達成し、長時間スケジュール仕様において高い満たし確率を示した。
• 到達性タスクでは、F-MDP方策が99.6％（500回中498回）の満たし率を達成し、高い信頼性と近似的最適性を確認した。