[論文レビュー] Context-Aware Safe Reinforcement Learning for Non-Stationary Environments

Baiming Chen, Zuxin Liu+4 more|arXiv (Cornell University)|Jan 2, 2021

Reinforcement Learning in Robotics参考文献 40被引用数 8

ひとこと要約

本稿では、確率的潜在変数モデルを用いた文脈認識動的予測と不確実性を考慮した制約付きモデル予測制御により、非定常環境における高速で安全な適応を可能にするメタラーニングフレームワーク、Context-Aware Safe Reinforcement Learning (CASRL) を提案する。CASRL は、事前安全性制約の組み込みとレアな不安全遷移の優先的サンプリングにより、ベースラインと比較して優れた安全性とロバスト性を達成する。

ABSTRACT

Safety is a critical concern when deploying reinforcement learning agents for realistic tasks. Recently, safe reinforcement learning algorithms have been developed to optimize the agent's performance while avoiding violations of safety constraints. However, few studies have addressed the non-stationary disturbances in the environments, which may cause catastrophic outcomes. In this paper, we propose the context-aware safe reinforcement learning (CASRL) method, a meta-learning framework to realize safe adaptation in non-stationary environments. We use a probabilistic latent variable model to achieve fast inference of the posterior environment transition distribution given the context data. Safety constraints are then evaluated with uncertainty-aware trajectory sampling. The high cost of safety violations leads to the rareness of unsafe records in the dataset. We address this issue by enabling prioritized sampling during model training and formulating prior safety constraints with domain knowledge during constrained planning. The algorithm is evaluated in realistic safety-critical environments with non-stationary disturbances. Results show that the proposed algorithm significantly outperforms existing baselines in terms of safety and robustness.

研究の動機と目的

• 時間変動する摂動がシステムの動的特性を変化させる非定常で安全が重要な環境において、安全性と適応性が複雑に絡み合った課題に対処すること。
• オンライン推論に用いる文脈認識潜在変数モデルを用いて、未知の環境的摂動への高速適応を可能にすること。
• データが乏しい環境における安全性の向上を図るため、ドメイン知識を事前安全性制約として組み込み、極めて稀な不安全遷移の優先的サンプリングを実施すること。
• 高次元タスクにおける不確実性下でも安全性を維持できるスケーラブルでリスク回避的な制御フレームワークの構築

提案手法

• 歴史的文脈データに条件づけられた環境遷移分布を推論する文脈認識確率的潜在変数モデルを用い、迅速な適応を可能にする。
• 不確実性を考慮した軌道サンプリングを施した制約付きモデル予測制御を採用し、計画段階での安全性を確保する。
• ドメイン知識から導出された事前安全性制約を組み込み、初期学習段階における慎重な探索を促進する。
• モデル学習中にデータの不均衡を緩和するため、不安全領域の優先的サンプリングを実装する。
• 多様な非定常摂動にわたるタスクに依存しない適応を可能にするメタラーニングの原則を活用する。
• オンラインベイジアン推論とニューラルプロセスベースの動的モデル（ANP）を組み合わせ、効率的で不確実性を考慮した予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、時間変動する摂動を伴う非定常環境において、どのように高速かつ安全に適応できるか？
• RQ2 訓練データに不安全な軌道が極めて少ない状況で、安全性をどのように保証できるか？
• RQ3 事前ドメイン知識と優先的サンプリングは、高次元で安全が重要なタスクにおいて、学習効率と安全性をどの程度向上できるか？
• RQ4 文脈認識動的モデリングは、標準的なメタラーニングやロバスト強化学習手法と比較して、安全性とロバスト性においてどのように差をつけるか？

主な発見

• CASRL は、医療環境における高速移動の人体行動が想定される状況において、ベースラインと比較して安全性違反率を顕著に低減した。
• カート・ポールのスイングアップタスクおよび医療配達タスクの両方において、未観測の摂動下でも MAML や他のベースラインと比較して違反率が低かった。
• 優先的サンプリングにより、安全でない領域の予測精度が向上したが、安全領域の性能は劣化しなかった。これにより、データの不均衡が緩和された。
• 事前学習フェーズが極めて重要である：事前学習なしの CASRL は、初期学習段階で違反率が急激に上昇しており、事前安全性制約の価値が浮き彫りになった。
• CASRL は、摂動空間全体にわたりロバストであることが示された。ヒートマップから、極端な摂動条件下でも制約違反が最小限に抑えられていることが確認された。
• CASRL は高次元環境へのスケーラビリティを効果的に発揮し、標準的なメタラーニングやロバスト強化学習手法が失敗する状況でも、安全性と性能を維持した。