[論文レビュー] Temporal Logic Guided Safe Reinforcement Learning Using Control Barrier Functions

Xiao Li, Călin Belta|arXiv (Cornell University)|Mar 23, 2019

Reinforcement Learning in Robotics参考文献 27被引用数 30

ひとこと要約

本稿では、時間論理、制御リャプノフ関数（CLFs）、制御バリア関数（CBFs）を統合した強化学習フレームワークを提案する。このフレームワークにより、未知の環境ダイナミクス下でも安全で、仕様に従った学習が連続制御タスクで可能になる。時間論理式から導出された有限状態オートマトンを用いて、耐性に基づく報酬を生成し、探索をガイドし、安全制約を強制することで、安全でない状態を厳密に回避しながらタスクを完了する。

ABSTRACT

Using reinforcement learning to learn control policies is a challenge when the task is complex with potentially long horizons. Ensuring adequate but safe exploration is also crucial for controlling physical systems. In this paper, we use temporal logic to facilitate specification and learning of complex tasks. We combine temporal logic with control Lyapunov functions to improve exploration. We incorporate control barrier functions to safeguard the exploration and deployment process. We develop a flexible and learnable system that allows users to specify task objectives and constraints in different forms and at various levels. The framework is also able to take advantage of known system dynamics and handle unknown environmental dynamics by integrating model-free learning with model-based planning.

研究の動機と目的

• 手動で調整された報酬関数の代わりに、直感的で高水準な時間論理的仕様を用いて、強化学習における複雑なタスクの指定を可能にすること。
• 学習および実行中に硬い安全制約を強制することで、物理系における安全な探索とデプロイメントを確保すること。
• 制御リャプノフ関数を統合することで、タスク関連領域への探索をガイドし、サンプル効率とポリシー性能を向上させること。
• モデルフリーRLと、制御バリア関数によるモデルベースの安全制約を組み合わせることで、未知の環境ダイナミクスに対する耐性を高めること。
• 複数の抽象レベルで柔軟にタスクと制約を指定できる、統合的かつ学習可能なフレームワークの開発

提案手法

• ユーザーが指定した論理的仕様から自動的に導出される、信号時間論理（STL）式の耐性度を密度的で意味論に配慮した報酬関数として用いる。
• STL式から有限状態オートマトン（FSA）を構築し、タスクの目的と安全制約を符号化することで、報酬生成、ゴール選択、安全領域定義の複数用途に活用可能にする。
• 制御リャプノフ関数（CLFs）を用いて、中間ゴールを定義し、タスク関連状態への収束を促進することで、探索をガイドする。
• 制御バリア関数（CBFs）を用いて、システムの状態が常に事前に定義された安全領域内に留まるようにすることで、硬い安全制約を強制する。
• RL、CLF、CBFの各コンポonentの行動を統合した二次計画問題として全体の制御ポリシーを定式化し、リアルタイムでの実行可能性と安全性を保証する。
• FSA拡張型MDPフレームワークを硬い制約と仕様違反の処理に拡張し、学習中に時間論理的仕様を厳密に強制可能にする。

実験結果

リサーチクエスチョン

• RQ1 時間論理的仕様を、強化学習に意味論的に配慮した意味のある報酬に自動的に変換する方法は何か？
• RQ2 制御リャプノフ関数は、安全を損なわず、複雑で長時間にわたるタスクにおいて、探索効率をどの程度向上させ得るか？
• RQ3 制御バリア関数は、未知の環境ダイナミクスを伴う連続制御タスクにおいて、硬い安全制約を効果的に強制できるか？
• RQ4 RL、CLF、CBFコンポーネントの統合は、訓練および評価中の最終ポリシーの成功確率と安全性にどのような影響を及えるか？
• RQ5 ハイパーパrameterチューニングは、シミュレーションにおける本手法の性能と収束性にどのような影響を及えるか？

主な発見

• RLとCBFを併用して学習したエージェントは、20回以上の評価試行において、CBFを含まないエージェントよりも高い成功確率を示した。これは、安全でない領域を一貫して回避できたためである。
• CBFを含まないエージェントは、しばしば安全領域から脱出しようとする試みを示し、CBFが強制される評価段階で失敗に終わった。これは、デプロイ時に安全制約の強制が不可欠であることを示している。
• CLFの導入により、エージェントの初期探索が改善され、関連ゴールに向かうように誘導された。一方、CBFは安全領域の境界における不安全な行動を防いでいた。
• RL、CLF、CBFを併用して学習したエージェントは、安全境界でデッドロックに陥る可能性があるため、直接的な経路を避け、代わりにg₁経由の代替ルートを選択する能力を学習していた。
• RL+CBF構成では、時間の経過とともに移動障害物との最小距離が増加しており、学習が進むにつれて障害物回避性能が向上していることが示された。
• 未知の環境ダイナミクス下でも、本システムは頑健な性能を示し、環境の正確なモデルがなくても、安全かつタスクに準拠したポリシーを学習できた。