[論文レビュー] Safe Exploration in Finite Markov Decision Processes with Gaussian Processes

Matteo Turchetta, Felix Berkenkamp+1 more|arXiv (Cornell University)|Jun 1, 2016

Fault Detection and Control Systems被引用数 53

ひとこと要約

本稿では、未知の安全制約をガウス過程を用いてモデル化することで、有限マルコフ決定過程における安全な探索のための新しいアルゴリズム、SAFEMDPを提案する。慎重な探索と到達可能性を考慮した計画を組み合わせることで、ノイズのある観測があっても、安全に到達可能な状態空間を完全に探索しつつ、安全制約に違反しないことを保証する。

ABSTRACT

In classical reinforcement learning agents accept arbitrary short term loss for long term gain when exploring their environment. This is infeasible for safety critical applications such as robotics, where even a single unsafe action may cause system failure or harm the environment. In this paper, we address the problem of safely exploring finite Markov decision processes (MDP). We define safety in terms of an a priori unknown safety constraint that depends on states and actions and satisfies certain regularity conditions expressed via a Gaussian process prior. We develop a novel algorithm, SAFEMDP, for this task and prove that it completely explores the safely reachable part of the MDP without violating the safety constraint. To achieve this, it cautiously explores safe states and actions in order to gain statistical confidence about the safety of unvisited state-action pairs from noisy observations collected while navigating the environment. Moreover, the algorithm explicitly considers reachability when exploring the MDP, ensuring that it does not get stuck in any state with no safe way out. We demonstrate our method on digital terrain models for the task of exploring an unknown map with a rover.

研究の動機と目的

• 安全制約が事前に未知であるが滑らかで規則的である有限MDPにおける安全な探索を可能にすること。
• 安全に到達可能なすべての状態を、安全制約に違反せずに完全に探索するアルゴリズムの開発。
• 探索中に到達不能な出口のない状態に閉じ込められないようにするため、到達可能性を明示的に考慮すること。
• 観測に基づく慎重な学習により、訪問されていない状態行動ペアの安全性に関する統計的信頼性を構築すること。

提案手法

• 状態行動ペア上のガウス過程事前分布を用いて安全制約をモデル化し、安全性に関する事前の信念を表現する。
• 環境との相互作用からのノイズのある観測を用いて、安全に関する信念を更新し、訪問されていない状態行動ペアの信頼性を高める。
• 安全な状態と行動を優先しつつ、到達不能な状態（ドーンエンド）を避けるために到達可能性を維持するような探索戦略を設計する。
• 到達可能性解析を計画プロセスに統合し、すべての探索済み状態が安全に脱出可能であることを保証する。
• 安全な探索とバランスを取るために信頼区間アプローチを採用し、安全性が統計的に確立されている場合にのみ未訪問領域に進展する。

実験結果

リサーチクエスチョン

• RQ1 安全制約が未知であるが滑らかで規則的な有限MDPにおいて、どのように安全に探索を行うことができるか？
• RQ2 どのようなアルゴリズム的構造が、安全制約に違反せずに安全に到達可能な状態空間を完全に探索可能にするか？
• RQ3 探索中に安全な脱出経路のない状態に閉じ込められないようにするには、どのようにすればよいか？
• RQ4 ガウス過程事前分布は、限られたノイズのある観測から、どの程度信頼性の高い安全性の推論を可能にするか？

主な発見

• SAFEMDPは、安全制約に違反することなく、MDPの安全に到達可能な領域全体を効果的に探索した。
• すべての探索済み状態に安全な脱出経路が確保されているため、到達不能な状態に閉じ込められるのを防ぐために到達可能性を維持した。
• 慎重な探索と観測収集を通じて、安全性に関する統計的信頼性が段階的に構築された。
• 本手法はデジタル地形モデル上で有効性を示し、未知の環境におけるローバーによる効果的な安全な探索を実現した。