[論文レビュー] Safe Exploration in Continuous Action Spaces

Gal Dalal, Krishnamurthy Dvijotham+4 more|arXiv (Cornell University)|Jan 26, 2018

Reinforcement Learning in Robotics参考文献 16被引用数 274

ひとこと要約

状態ごとの安全性層を導入し、学習中に各状態の安全制約を満たすよう行動を解析的に補正し、連続作用空間でのゼロ違反探索を可能にする線形化された単一ステップ安全モデル。

ABSTRACT

We address the problem of deploying a reinforcement learning (RL) agent on a physical system such as a datacenter cooling unit or robot, where critical constraints must never be violated. We show how to exploit the typically smooth dynamics of these systems and enable RL algorithms to never violate constraints during learning. Our technique is to directly add to the policy a safety layer that analytically solves an action correction formulation per each state. The novelty of obtaining an elegant closed-form solution is attained due to a linearized model, learned on past trajectories consisting of arbitrary actions. This is to mimic the real-world circumstances where data logs were generated with a behavior policy that is implausible to describe mathematically; such cases render the known safety-aware off-policy methods inapplicable. We demonstrate the efficacy of our approach on new representative physics-based environments, and prevail where reward shaping fails by maintaining zero constraint violations.

研究の動機と目的

• RL訓練中の物理システムでの各状態ごとの制約違反をゼロにする。
• ログデータからの1ステップダイナミクスを利用して線形安全モデルを事前学習する。
• 安全を課す安全層を任意の連続制御ポリシーに付加して安全を強制する。
• 安全意識を持つ学習が報酬設計より収束と性能を向上させ得ることを示す。

提案手法

• ランダムな行動のログからの1ステップ遷移を用いて状態条件付き線形安全モデル c̄i(s′) ≈ c̄i(s) + g(s;w_i)ᵀ a を訓練する（方程式 2）。
• データセット D の (s,a,s′) の組を用いて g(s;w_i) を予測安全信号の変化を予測するよう事前学習する。
• ポリシーの上に安全層を付け、制約付き射影を解く：c̄i(s) + g(s;w_i)ᵀ a ≤ Ci を満たす ||a−μθ(s)||² を最小化する（方程式 4）。
• 単一のアクティブ制約仮定のもとで閉形式解を得る：a* = μθ(s) − λ*i* g(s;w_i*)（方程式 5–6）。
• この層を Deep Deterministic Policy Gradient (DDPG) または任意の連続制御アルゴリズムと組み合わせて使用する；層は微分可能で軽量である。

実験結果

リサーチクエスチョン

• RQ1 連続アクション空間で学習中に個々の状態の安全制約を、振る舞いポリシーが既知であるという仮定なしに保証できるか？
• RQ2 ランダムログから学習した線形の単一ステップ安全モデルは、閉形式の行動補正を通じて安全を確保するのに十分か？
• RQ3 安全層付き学習は安全保証と収束効率の点で報酬設計とどう比較されるか？
• RQ4 複数の物理ベースのドメインで、異なる安全信号と制約を用いて適用可能か？
• RQ5 単一アクティブ制約仮定が実務でのパフォーマンスと安全性に与える影響は？

主な発見

• 安全層はすべての種とタスクにおいて制約違反ゼロを強制する。
• 安全層なしの学習や報酬設計と比較して収束を加速する。
• 安全層を用いると、DDPG は安全性を維持しつつ評価域でより高い割引報酬を達成する。
• 報酬設計はゼロ違反を保証できず、収束を妨げる可能性がある一方で、安全層は安全を保証し学習速度を改善する。
• この手法はロボットに依存せず、特定のRL手法に限定されず任意の連続制御アルゴリズムに追加できる。