[論文レビュー] Safe Model-Based Meta-Reinforcement Learning: A Sequential Exploration-Exploitation Framework.

Thomas Lew, Apoorva Sharma+2 more|arXiv (Cornell University)|Aug 26, 2020

Fault Detection and Control Systems参考文献 32被引用数 6

ひとこと要約

本論文は、不確実なダイナミクス下でも確率的安心性と持続的実行可能性を保証する、安全なモデルベースのメタ強化学習の逐次的探索・活用フレームワークを提案する。ベイジアンメタラーニングと信頼性境界に配慮した計画法を組み合わせることで、高い不確実性を伴う環境において、効率的かつ安全な適応が可能となり、非線形な宇宙ロボットがごみだらけの環境で荷物を操作する状況で実証された。

ABSTRACT

Safe deployment of autonomous robots in diverse environments requires agents that are capable of safe and efficient adaptation to new scenarios. Indeed, achieving both data efficiency and well-calibrated safety has been a central problem in robotic learning and adaptive control due in part to the tension between these objectives. In this work, we develop a framework for probabilistically safe operation with uncertain dynamics. This framework relies on Bayesian meta-learning for efficient inference of system dynamics with calibrated uncertainty. We leverage the model structure to construct confidence bounds which hold throughout the learning process, and factor this uncertainty into a model-based planning framework. By decomposing the problem of control under uncertainty into discrete exploration and exploitation phases, our framework extends to problems with high initial uncertainty while maintaining probabilistic safety and persistent feasibility guarantees during every phase of operation. We validate our approach on the problem of a nonlinear free flying space robot manipulating a payload in cluttered environments, and show it can safely learn and reach a goal.

研究の動機と目的

• 不確実なダイナミクス下でのロボット強化学習において、データ効率性とキャリブレーションされた安全性の両立を達成する挑戦に取り組む。
• 初期段階で高い不確実性を伴う、未知の環境へ自律エージェントの安全かつ効率的な適応を可能にする。
• 学習および運用の全段階を通じて、持続的実行可能性と確率的安心性を維持する。
• 学習を離散的な探索段階と活用段階に分解しつつ、各段階で安全性を保証するフレームワークを開発する。

提案手法

• 少数のデモンストレーションから well-calibrated な不確実性を伴うシステムダイナミクスを推定するためにベイジアンメタラーニングを活用する。
• 学習プロセス全体にわたって有効なモデル予測の信頼性領域を構築し、信頼性を確保する。
• 不確実性推定値をモデルベース計画フレームワークに統合し、安全な意思決定を支援する。
• 不確実性を管理しながら安全性を保持するため、制御を逐次的な探索と活用段階に分解する。
• モデル構造を用いて計画中に不確実性を伝搬させ、リスクに配慮した軌道最適化を可能にする。
• 学習中における常に実行可能性と安全性を保証する確率的安心性保証メカニズムを採用する。

実験結果

リサーチクエスチョン

• RQ1 高い不確実性を伴うロボット制御シナリオにおいて、学習全般にわたり確率的安心性をどのように確保できるか？
• RQ2 キャリブレーションされた不確実性を備えたメタRLフレームワークは、未知の環境においてデータ効率性を向上させつつ安全性を維持できるか？
• RQ3 モデル不確実性下で実行可能性と安全性を保つために、探索と活用をどのように逐次的に管理できるか？
• RQ4 ベイジアンメタラーニングは、複雑なロボットタスクにおける限られたデータでの安全な適応をどのように可能にするか？

主な発見

• フレームワークは、ごみだらけの環境で荷物を操作する非線形なフリー飛行型宇宙ロボットにおいて、安全かつ効率的な適応を達成した。
• 本手法は、高不確実性の探索段階を含め、学習の全段階にわたり確率的安心性保証を維持した。
• ベイジアンメタラーニングから導出された信頼性領域を用いることで、時間経過に伴う信頼性の高い不確実性評価が可能となった。
• 逐次的探索・活用の分解構造により、持続的実行可能性と安全なポリシー改善が実現された。
• 本手法は、最小限のデータで複雑で動的な環境においても、目的到達性能を効果的に達成した。
• 従来のモデルフリーまたは非確率的手法が不確実性のキャリブレーション不足により失敗する状況でも、安全な学習が可能となった。