[論文レビュー] Certified Reinforcement Learning with Logic Guidance

Mohammadhosein Hasanbeig, Daniel Kroening+1 more|arXiv (Cornell University)|Feb 2, 2019

Formal Methods in Verification被引用数 15

ひとこと要約

本稿では、連続状態のマルコフ決定過程（MDP）において、目的を形式的に指定し、最大確率で満たされるように保証するモデルフリー強化学習アルゴリズムを提案する。線形時相論理（LTL）を用いて目標を形式的に定式化し、それを限界決定的一般化 Büchi 生成機械（LDGBA）に翻訳することで、実行時に報酬関数を形状づける。この方法により、カーネルベースの関数近似とモンテカルロサンプリングを用いた価値反復アルゴリズムによって、証明可能に正しい方策合成が可能になる。

ABSTRACT

Reinforcement Learning (RL) is a widely employed machine learning architecture that has been applied to a variety of control problems. However, applications in safety-critical domains require a systematic and formal approach to specifying requirements as tasks or goals. We propose a model-free RL algorithm that enables the use of Linear Temporal Logic (LTL) to formulate a goal for unknown continuous-state/action Markov Decision Processes (MDPs). The given LTL property is translated into a Limit-Deterministic Generalised Buchi Automaton (LDGBA), which is then used to shape a synchronous reward function on-the-fly. Under certain assumptions, the algorithm is guaranteed to synthesise a control policy whose traces satisfy the LTL specification with maximal probability.

研究の動機と目的

• 手動で設計された報酬関数が脆く透明性に欠ける複雑で安全が重要な強化学習（RL）タスクにおける報酬設計の課題に対処する。
• 線形時相論理（LTL）を用いて、複雑な時間的・順序的要件を表現可能な高水準制御目標を形式的に指定可能にする。
• 与えられたLTL仕様が、未知の連続状態MDPにおいて最大確率で満たされるように、合成された方策を保証する。
• 関数近似とモンテカルロサンプリングを統合した、形式的手法（オートマトンと時相論理）を用いたモデルフリーRLフレームワークを構築する。
• 明示的なMDPモデル化や広範な報酬チューニングを回避する、証明可能に正しい方策合成手法を提供する。

提案手法

• 与えられたLTL式を限界決定的一般化 Büchi 生成機械（LDGBA）に翻訳し、望ましい時間的挙動を表現する。
• 元のMDPとLDGBAを同期化して製品MDPを構築し、状態空間を複合状態 $(s, q_j)$ に定義する。ここで $s$ はシステム状態、$q_j$ は生成機械の状態である。
• LDGBAの受容状態に報酬 $r_p$ を、それ以外の状態に $r_n$ を割り当てることで、報酬関数を定義し、LTL仕様を報酬構造として符号化する。
• 径路基底関数を用いたカーネル平均化法により、連続状態空間における価値関数 $Lv^{q_j}(s)$ をサンプリングされた中心点の重み付き平均として近似する。これにより、連続状態空間における関数近似が可能になる。
• 受容状態から開始し、生成機械の状態に対して後退的更新を実行する修正版価値反復アルゴリズム（FVI）を適用し、製品MDP全体にわたって価値推定を伝搬する。
• 各状態行動ペアについて、$Z$ 個の軌道におけるモンテカルロサンプリングを用いてベルマン更新を近似し、解析的遷移確率が得られない状況においても、積分をサンプル平均に置き換える。

実験結果

リサーチクエスチョン

• RQ1 未知の連続状態MDPにおいて、手動の報酬設計を伴わず、LTL仕様を用いて自動的に報酬関数を生成できるか？
• RQ2 未知の連続状態MDPにおいて、学習された方策が与えられたLTL仕様を最大確率で満たすことは可能か？
• RQ3 LDGBA やオートマトンベースの報酬形状づけといった形式的手法を、関数近似とサンプリング技術と統合することで、連続ドメインへのスケーラビリティを達成できるか？
• RQ4 生成機械状態における後退的価値反復が、製品MDPにおける方策の収束性と正しさに与える影響は何か？
• RQ5 本手法は、LCNFQ などの先行手法に比べ、正しさの保証とスケーラビリティの面で優れているか？

主な発見

• 本手法は、MDPが未知であるが遷移ダイナミクスがサンプリング可能であるという仮定の下で、合成された方策が与えられたLTL仕様を最大確率で満たすことを保証する。
• LDGBAの使用により、安全、ライブネス、再発性といった複雑な時間的性質を正確に符号化でき、スカラーベースの報酬では表現が難しい。
• 径路基底関数を用いたカーネルベースの関数近似により、連続状態空間における価値関数推定が効果的に行えるようになり、有限状態MDPを超えたスケーラビリティが実現可能になる。
• Z 個の軌道におけるモンテカルロサンプリングにより、解析的遷移確率が得られない状況でも、ベルマン更新の実用的かつ正確な近似が可能になる。
• 生成機械状態における後退的価値反復により、受容状態から初期状態へと価値推定が正しく伝搬され、LTL性質の論理的構造が保持される。
• LCNFQ などの先行手法に比べ、正しさの保証面で優れ、[18] におけるMDP抽象化技術のスケーラビリティの問題を回避する。