[論文レビュー] Q-Learning for Robust Satisfaction of Signal Temporal Logic Specifications

Derya Aksaray, Austin Jones+3 more|arXiv (Cornell University)|Sep 23, 2016

Formal Methods in Verification被引用数 4

ひとこと要約

本稿では、未知のダイナミクスを有する確率的システムに対して、信号時相論理（STL）仕様を満たす制御方策を合成するためのQ学習ベースの手法を提案する。システムをτ-MDPとしてモデル化し、STL満たし確率と耐性度を累積報酬として近似することで、Q学習が満たしの確率と品質の両方を最適化可能となる。シミュレーションでは、確率のみを最適化する場合に比べ、期待耐性度を最大化することで優れた性能を示した。

ABSTRACT

This paper addresses the problem of learning optimal policies for satisfying signal temporal logic (STL) specifications by agents with unknown stochastic dynamics. The system is modeled as a Markov decision process, in which the states represent partitions of a continuous space and the transition probabilities are unknown. We formulate two synthesis problems where the desired STL specification is enforced by maximizing the probability of satisfaction, and the expected robustness degree, that is, a measure quantifying the quality of satisfaction. We discuss that Q-learning is not directly applicable to these problems because, based on the quantitative semantics of STL, the probability of satisfaction and expected robustness degree are not in the standard objective form of Q-learning. To resolve this issue, we propose an approximation of STL synthesis problems that can be solved via Q-learning, and we derive some performance bounds for the policies obtained by the approximate approach. The performance of the proposed method is demonstrated via simulations.

研究の動機と目的

• 未知の確率的ダイナミクスを有するシステムを、信号時相論理（STL）で指定された複雑で時間に依存するタスクを満たすように制御する課題に対処すること。
• STL満たし確率の最大化と、満たしの質の指標としての期待耐性度の最大化という2つの制御合成問題を定式化すること。
• 標準的なQ学習の目的関数とは整合しないSTLの定量的意味論に対処するため、新しい近似フレームワークを提案すること。
• 適切なパrameter選択のもとで、近似方策の性能が真の最適方策に限りなく近づくことを保証する性能バウンドを提供すること。
• 空間的および時間的タスク仕様を含むシミュレーション事例を通じて、本手法の有効性を示すこと。

提案手法

• 状態がシステム軌道のτ長履歴を表すように、マルコフ決定過程（MDP）としてシステムをモデル化し、STL仕様における履歴依存性を捉えるためにτ-MDPを構築すること。
• 有限状態抽象化とτ-MDP構築を可能にするために、時間区間を伴う演算子（F[a,b], G[a,b]）を含むSTLの断片を定義すること。
• 時間論理の意味論と状態履歴の追跡を活用して、満たし確率と期待耐性度を累積報酬として近似すること。
• 近似された目的関数にQ学習を適用し、エージェントがエピソード全体にわたる近似報酬の合計を最大化するように方策を学習すること。
• 学習率に減衰スケジュール（αk = 0.95k）を用い、探索と収束のバランスを取るためにハイパーパrameter（β, γ）を調整すること。
• 理論的性能バウンドを導出し、適切なτと近似パrameterを選択することで、近似方策の性能を真の最適方策に限りなく近づけられることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 システムのダイナミクスが未知であり、目的関数（満たし確率と耐性度）が標準的なQ学習形式でない状況下でも、Q学習をSTL仕様合成に効果的に適用できるか？
• RQ2 時間的順序の要件を含む履歴依存STL仕様—例えば、イベントの順序が重要な仕様—を強化学習と整合する形でどのようにモデル化できるか？
• RQ3 STL満たし確率と耐性度を、Q学習に適した累積報酬構造に変換するための近似戦略は何か？
• RQ4 近似手法を用いて学習された方策は、満たし確率および耐性度の観点から、真の最適方策にどの程度近づけるか？
• RQ5 Q学習ベースのSTL合成において、満たし確率の最大化よりも期待耐性度の最大化が、収束性および性能向上に寄与するか？

主な発見

• 2000回の学習エピソード後、期待耐性度を最大化する方策（π∗₂ₐ）は、仕様Φ₂に対して93.6%の満たし確率を達成した。これは、確率を最大化する方策（π∗₁ₐ）が達成した73.2%の満たし確率を大きく上回った。
• π∗₂ₐにおける期待耐性度は0.422であったのに対し、π∗₁ₐでは0.084にとどまり、満たしの質が著しく優れていることが示された。
• 耐性度に基づく方策は、より速い収束とより方向性のある探索行動を示した。これは、仕様に近い軌道に対しても部分的な報酬が得られていたためである。
• 対照的に、確率を最大化する方策は、完全に満たす軌道に出会うまでランダム探索に依存しており、満たし方策が稀な場合には収束が遅くなった。
• 理論的性能バウンドにより、適切なτと近似パrameterを選択することで、近似方策の性能を真の最適方策に限りなく近づけられることを確認した。
• シミュレーション結果は、繰り返し領域訪問と時間的制約を含む複雑なSTLタスクにおいて、本手法の有効性を検証した。平均して6分以内に安定した収束を示した。