[論文レビュー] Safe Reinforcement Learning via Online Shielding.

Osbert Bastani|arXiv (Cornell University)|May 25, 2019

Reinforcement Learning in Robotics参考文献 10被引用数 9

ひとこと要約

本論文では、安全な強化学習のためのオンラインシールド化を提案する。バックアップ制御則が学習済み方策をリアルタイムで動的に上書きすることで、安全制約を強制する。事前に計算するのではなく、オンラインで安全意思決定を行うことで、スケーラビリティと新規環境への適応性を確保し、ランダムな障害物を伴うシミュレートされたカート・ポールおよび自転車ナビゲーションタスクにおいて、安全を効果的に確保した。

ABSTRACT

Reinforcement learning is a promising approach to learning control policies for complex robotics tasks. A key challenge is ensuring safety of the learned control policy---e.g., that a walking robot does not fall over, or a quadcopter does not run into a wall. We focus on the setting where the dynamics are known, and the goal is to prove that a policy learned in simulation satisfies a given safety constraint. Existing approaches for ensuring safety suffer from a number of limitations---e.g., they do not scale to high-dimensional state spaces, or they only ensure safety for a fixed environment. We propose an approach based on shielding, which uses a backup controller to override the learned controller as necessary to ensure that safety holds. Rather than compute when to use the backup controller ahead-of-time, we perform this computation online. By doing so, we ensure that our approach is computationally efficient, and furthermore, can be used to ensure safety even in novel environments. We empirically demonstrate that our approach can ensure safety in experiments on cart-pole and on a bicycle with random obstacles.

研究の動機と目的

• 複雑なロボット工学的タスクにおける強化学習方策の安全確保に取り組むこと、特にシミュレーションで訓練された方策に対してである。
• 高次元状態空間へのスケーラビリティに欠ける、または新規環境で失敗する既存の安全手法の限界を克服すること。
• 事前計算された安全領域に依存せず、オンラインで動作する計算的に効率的な安全メカニズムを開発すること。
• 訓練時において環境が完全に把握されていなくても、安全保証が維持されることを保証すること。

提案手法

• 本手法は、学習済み方策の行動をリアルタイムで監視し、安全制約の違反が予想される場合にバックアップ制御則によって介入するシールドフレームワークを採用する。
• 安全意思決定をオンラインで行うことで、変化するか未知の環境的条件に動的に適応できる。
• バックアップ制御則は、既知のシステムダイナミクスと安全制約に基づいて設計されており、とられる行動が安全を保証する。
• 事前計算された安全領域を必要とせず、既知のダイナミクスを活用してリアルタイムで安全行動を計算する。
• シールドメカニズムは強化学習方策と統合されており、安全範囲内にとどまりながらも、エージェントが探索と学習を継続できる。
• 本手法は、カート・ポールやランダム障害物を伴うシミュレートされた自転車ナビゲーションといった連続的制御タスクに適用されている。

実験結果

リサーチクエスチョン

• RQ1 オンラインシールド化は、従来の手法がスケーリングに失敗する高次元状態空間でも安全を保証できるか？
• RQ2 事前計算ではなくオンラインで安全オーバーライドを計算することで、新規または未確認の環境への適応性が、事前計算手法に比べて向上するか？
• RQ3 複雑な制御タスクにおいて、安全を保証しながらも、パフォーマンスと学習効率を維持できるか？
• RQ4 動的障害物を伴うシミュレーション環境における強化学習において、オンラインシールド化は安全制約をどれほど効果的に強制できるか？

主な発見

• 提案されたオンラインシールド化手法は、ランダム障害物を伴うカート・ポールおよび自転車ナビゲーションタスクの両方で、安全制約を効果的に強制した。
• 事前分析の計算負荷を回避できるオンラインでの安全意思決定計算により、高次元状態空間へのスケーリングが可能となった。
• 訓練時に見なかった新規環境でも安全が維持されたため、環境変化に対して高いロバストネスを示した。
• 基礎となる強化学習方策のパフォーマンスを損なわせることなく、安全な探索と学習を可能にした。