[論文レビュー] Cautious Reinforcement Learning with Logical Constraints

Mohammadhosein Hasanbeig, Alessandro Abate+1 more|arXiv (Cornell University)|May 5, 2020

Reinforcement Learning in Robotics被引用数 24

ひとこと要約

本稿では、時系列論理式として表現された論理的制約を強制することによって、探索中に安全を保証する、適応的で安全なパディング機構を導入する。この手法は、目的指向の探索と安全の両立を図り、理論的収束保証とともに最適な方策を達成し、実験でもその有効性が示された。

ABSTRACT

This paper presents the concept of an adaptive safe padding that forces Reinforcement Learning (RL) to synthesise optimal control policies while ensuring safety during the learning process. Policies are synthesised to satisfy a goal, expressed as a temporal logic formula, with maximal probability. Enforcing the RL agent to stay safe during learning might limit the exploration, however we show that the proposed architecture is able to automatically handle the trade-off between efficient progress in exploration (towards goal satisfaction) and ensuring safety. Theoretical guarantees are available on the optimality of the synthesised policies and on the convergence of the learning algorithm. Experimental results are provided to showcase the performance of the proposed method.

研究の動機と目的

• 探索中に安全性を保証しつつ、学習効率を損なわない強化学習の挑戦に取り組む。
• 時系列論理式として表現された目的を、最大確率で満たす最適な制御方策を合成する。
• 適応的メカニズムを用いて、探索の進捗と安全の強制を自動的にバランスさせる。
• 方策の最適性および学習アルゴリズムの収束について理論的保証を提供する。
• 安全が重要な制御タスクにおいて、本手法の有効性を実験的に示す。

提案手法

• 本手法は、安全制約を維持するための動的調整を施す適応的で安全なパディングメカニズムを採用する。
• 安全性は、エージェントの行動に必要な行動と制約を定義する時系列論理式を用いて強制される。
• アーキテクチャは論理的制約をRLの目的関数に統合し、安全な軌道を優先するように報酬形状を変更する。
• パディングメカニズムは適応的であり、安全な経路が特定された場合には探索を拡大可能であり、安全と進捗の両立を図る。
• 理論的分析により、学習アルゴリズムの収束および合成された方策の最適性が保証される。
• スケーラビリティを実現するため、関数近似を用いた深層強化学習フレームワークで本手法を実装する。

実験結果

リサーチクエスチョン

• RQ1 強化学習の探索中に安全性を保証しつつ、効率的な方策学習を達成するにはどうすればよいか？
• RQ2 時系列論理式として表現された論理的制約を、深層RLに効果的に統合して安全性を確保できるか？
• RQ3 実際の運用において、適応的で安全なパディングメカニズムは探索と安全のバランスをどのようにとるか？
• RQ4 合成された方策の最適性および収束について、どのような理論的保証を提供できるか？
• RQ5 安全が重要な制御タスクにおいて、本手法はベースライン手法と比べてどのように性能を発揮するか？

主な発見

• 提案手法は、高い確率で時系列論理の目的を満たす最適な制御方策を効果的に合成できた。
• 適応的で安全なパディングメカニズムにより、学習プロセス全体を通じて安全制約を維持しながら、効果的な探索が可能になった。
• 理論的分析により、学習アルゴリズムの収束および学習済み方策の最適性が確認された。
• 実験結果は、ベースライン手法と比較して、安全性および目的達成の両面で優れた性能を示した。
• 複雑な制御タスクにおいて、探索効率と安全の強制の間で良好なトレードオフを達成した。
• 論理的制約に厳密に従う必要がある環境においても、本手法はスケーラブルかつ有効であった。