[論文レビュー] Safe Model-Based Reinforcement Learning Using Robust Control Barrier Functions.

Yousef Emam, Paul Glotfelter+2 more|arXiv (Cornell University)|Oct 11, 2021

Fault Detection and Control Systems参考文献 33被引用数 6

ひとこと要約

本論文は、安全な探索を保証するため、モデルベース強化学習フレームワーク内に微分可能でロバストな制御バリア関数（RCBF）層を提案する。RCBF層を学習プロセスに直接統合することにより、安全を保証するとともに、サンプル効率を向上させることを実験的評価で示した。

ABSTRACT

Reinforcement Learning (RL) is effective in many scenarios. However, it typically requires the exploration of a sufficiently large number of state-action pairs, some of which may be unsafe. Consequently, its application to safety-critical systems remains a challenge. Towards this end, an increasingly common approach to address safety involves the addition of a safety layer that projects the RL actions onto a safe set of actions. In turn, a challenge for such frameworks is how to effectively couple RL with the safety layer to improve the learning performance. In the context of leveraging control barrier functions for safe RL training, prior work focuses on a restricted class of barrier functions and utilizes an auxiliary neural net to account for the effects of the safety layer which inherently results in an approximation. In this paper, we frame safety as a differentiable robust-control-barrier-function layer in a model-based RL framework. As such, this approach both ensures safety and effectively guides exploration during training resulting in increased sample efficiency as demonstrated in the experiments.

研究の動機と目的

• 安全な応用分野における強化学習における不安全な探索の課題に対処すること。
• 近似や補助ネットワークに依存する従来の安全層の限界を克服すること。
• 微分可能なRCBF定式化を用いて、安全制約を学習プロセスに直接統合すること。
• 安全に注意を払ったポリシー最適化によって探索を誘導することで、サンプル効率を向上させること。
• 安全保証を損なわずに、強化学習と安全層の有効な結合を可能にすること。

提案手法

• モデルベース強化学習フレームワーク内で安全制約を強制する微分可能なロバスト制御バリア関数（RCBF）層を提案する。
• ポリシー最適化プロセス内にRCBF層を微分可能コンポONENTとして統合し、エンド・ツー・エンド学習を可能にする。
• モデルの不確実性およびシステムダイナミクスの摂動を考慮するためのロバスト制御定式化を用いる。
• モデルベースのアプローチを用いてシステム軌道を予測し、RCBF層を介して安全な行動プロジェクションを計算する。
• 安全関数を学習目的に直接組み込むことで、補助ニューラルネットワークを回避する。
• 制御入力の下で安全領域の前向き不変性を保証する数学的定式化により、安全を保証する。

実験結果

リサーチクエスチョン

• RQ1 モデルベース強化学習の探索段階において、どのようにして安全を保証できるか？
• RQ2 近似ネットワークに依存せずに、微分可能なRCBF層が安全な強化学習におけるサンプル効率を向上させられるか？
• RQ3 RCBFとモデルベース強化学習を統合することで、収束性および安全パフォーマンスにどのような影響を与えるか？
• RQ4 モデル不確実性に対するロバスト性が、学習されたポリシーの安定性および安全性に与える影響は何か？
• RQ5 既存の安全層と比較して、本手法はパフォーマンスおよび安全保証の面でどのように差をつけるか？

主な発見

• 提案手法は、ロバスト制御バリア関数制約を強制することで、訓練プロセス中を通じて安全を保証する。
• 微分可能なRCBF層によりエンド・ツー・エンド学習が可能となり、非微分可能な安全層と比較してサンプル効率が向上する。
• 補助ニューラルネットワークの必要性を回避することで、従来のアプローチに内在する近似誤差を低減する。
• 実験結果により、シミュレート環境における学習パフォーマンスの向上および安全遵守の両方が確認された。
• RCBFをモデルベース強化学習フレームワークに統合することで、収束が速くなり、安全確保の信頼性が向上した。