[論文レビュー] Formal Policy Synthesis for Continuous-Space Systems via Reinforcement Learning

Milad Kazemi, Sadegh Soudjani|arXiv (Cornell University)|May 4, 2020

Formal Methods in Verification参考文献 38被引用数 8

ひとこと要約

本稿は、システムモデルを必要とせずに、連続状態の確率的システムにおいて線形時相論理（LTL）仕様を満たす最適な方策を合成する強化学習（RL）フレームワークを提示する。LTLからLDBAへの変換を用いて経路に依存する報酬関数を構築し、緩和されたラベル関数を用いた逐次学習手順を採用することで、弱い仮定のもとで学習方策の満たし確率が真の最適値に線形収束することを保証する。カートポールおよびボートドライブ問題において、高い信頼性の区間が得られた。

ABSTRACT

This paper studies satisfaction of temporal properties on unknown stochastic processes that have continuous state spaces. We show how reinforcement learning (RL) can be applied for computing policies that are finite-memory and deterministic using only the paths of the stochastic process. We address properties expressed in linear temporal logic (LTL) and use their automaton representation to give a path-dependent reward function maximised via the RL algorithm. We develop the required assumptions and theories for the convergence of the learned policy to the optimal policy in the continuous state space. To improve the performance of the learning on the constructed sparse reward function, we propose a sequential learning procedure based on a sequence of labelling functions obtained from the positive normal form of the LTL specification. We use this procedure to guide the RL algorithm towards a policy that converges to an optimal policy under suitable assumptions on the process. We demonstrate the approach on a 4-dim cart-pole system and 6-dim boat driving problem.

研究の動機と目的

• 未知の連続状態の確率的システムにおいて、LTL仕様を満たす方策を合成するデータ駆動型・モデルフリーなRL手法の開発。
• LTLオートマトンに基づく形式的で経路に依存する報酬関数を構築することで、ヒューリスティックな報酬設計に依存しないことの実現。
• システムダイナミクスに関する適切な仮定の下で、学習方策が最適満たし確率に収束することの保証。
• 緩和されたLTL仕様に基づく逐次学習手順を用いることで、サンプル効率と学習安定性の向上。
• 離散化や連続性の仮定なしに、一般の連続状態MDPにまで拡張された形式的方策合成の実現。

提案手法

• 軌跡の受容条件を表すために、LTL仕様を限界決定的 Büchi オートマトン（LDBA）に変換する。
• LDBAの状態遷移に基づく経路に依存する報酬関数を構築し、RLが長期的な時相的性質の満たしを最大化できるようにする。
• LTL式の正規形に基づく徐々に緩和されたラベル関数を用いた逐次学習手順を採用し、探索をガイドする。
• A2Cなどの深層強化学習アルゴリズムを適用し、満たし確率の下界推定値を用いる。信頼パラメータ ζ を用いて、反復的に境界を精密化する。
• システムの一様エルゴード性の仮定の下で、真の最適満たし確率に線形収束する最適平均報酬基準を定式化する。
• Hoeffdingの不等式を用いて、経験的軌道データに基づき、真の満たし確率の高信頼区間を計算する。

実験結果

リサーチクエスチョン

• RQ1 システムモデルの事前知識がなくても、連続状態の確率的システムにおいて強化学習を用いて最適方策を合成可能か？
• RQ2 LDBA表現に基づく経路に依存する報酬関数は、LTL仕様の真の最適満たし確率に収束を可能にするか？
• RQ3 緩和されたLTL仕様を用いた逐次学習手順は、連続状態系におけるRLのサンプル効率と収束性を向上させられるか？
• RQ4 RLフレームワークにおける平均報酬基準が、どのような仮定のもとで真の最適満たし確率に線形収束するか？
• RQ5 離散化や連続性の仮定なしに、連続状態MDPにおける方策性能の形式的保証をどのように確立できるか？

主な発見

• 4次元カートポール系において、本手法は満たし確率の下界として 0.9526 を達成し、真の確率は信頼度 1−4×10⁻¹⁰ で [0.975, 1] の区間に含まれることが確認された。
• 6次元ボートドライブ問題において、本手法は満たし確率の下界として 0.9810 を計算し、経験的データにより信頼度 5×10⁻⁵ で [0.99, 1] の区間に含まれることが確認された。
• 50,000本のカートポール軌道のうち、安全制約（位置または角度の境界）に違反したのはたった 1.03% にとどまり、大多数の軌道が150タイムステップ以内にターゲット区間に到達した。
• ζ値を 0.9950 から 0.9999 に段階的に増加させた逐次学習手順により、満たし確率の下界が単調に増加し、収束が示された。
• 弱い仮定のもとで最適方策への収束を示したが、ボート問題では計算時間が70分、ベースラインA2C（逐次手順なし）では24時間かかった。
• 理論的分析により、システムの均一エルゴード性の仮定のもとで、最適平均報酬基準が真の最適満たし確率に線形収束することが示された。