[論文レビュー] Safe Exploration in Markov Decision Processes with Time-Variant Safety using Spatio-Temporal Gaussian Process

Akifumi Wachi, Hiroshi Kajino+1 more|arXiv (Cornell University)|Sep 12, 2018

Gaussian Processes and Bayesian Inference参考文献 17被引用数 4

ひとこと要約

本稿では、時間的に変化する事前には未知の安全制約を伴うマーカフォルド決定過程（MDP）における安全な探索のための新しいアルゴリズム、ST-SafeMDPを提案する。時間的空間的ガウス過程を用いて変化する安全関数をモデル化し、最悪ケースでの安全状態の累積数を最大化するためのミニマックス最適化を定式化することで、不確実で動的な環境（例：月面地形）において安全を確保しつつ、安全領域を効率的に拡大する。

ABSTRACT

In many real-world applications (e.g., planetary exploration, robot navigation), an autonomous agent must be able to explore a space with guaranteed safety. Most safe exploration algorithms in the field of reinforcement learning and robotics have been based on the assumption that the safety features are a priori known and time-invariant. This paper presents a learning algorithm called ST-SafeMDP for exploring Markov decision processes (MDPs) that is based on the assumption that the safety features are a priori unknown and time-variant. In this setting, the agent explores MDPs while constraining the probability of entering unsafe states defined by a safety function being below a threshold. The unknown and time-variant safety values are modeled using a spatio-temporal Gaussian process. However, there remains an issue that an agent may have no viable action in a shrinking true safe space. To address this issue, we formulate a problem maximizing the cumulative number of safe states in the worst case scenario with respect to future observations. The effectiveness of this approach was demonstrated in two simulation settings, including one using real lunar terrain data.

研究の動機と目的

• 安全制約が事前には未知で時間的に変化する環境（例：照明や地形状態が変化する惑星探査）における安全な探索を解決すること。
• 時間不変の安全制約を仮定する従来の安全強化学習手法の限界を克服すること。これにより、安全領域が縮小する状況でエージェントが閉じ込められることがある。
• 将来の観測の最悪ケースを考慮して、安全領域の拡大を最大化すると同時に、高い確率で安全を保証する手法を開発すること。
• 通信遅延が長い安全が重要な応用分野（例：月面ローバー）における自律的でオンボードでの意思決定を可能にすること。
• 再現性（拡大）と正確性（誤検出の回避）の両方を最適化することで、探索の効率と安全性のバランスを取ること。

提案手法

• 空間的および時間的相関を捉える合成カーネルを用いた時間的空間的ガウス過程を用いて、時間的に変化する安全関数をモデル化する。
• ガウス過程の事後平均と分散を用いて将来の安全値を予測し、不確実性を組み込んで予測された安全領域を定義する。
• 安全関数値の下限をリプシッツ連続性を仮定して考慮し、最悪ケースでの安全状態の累積数を最大化するミニマックス最適化問題を定式化する。
• ガウス過程の平均と信頼区間の幅の重み付き組み合わせに基づいて、安全領域拡大に寄与する可能性の高い不確実な状態を優先して次回の探索ターゲットを選択する。
• 安全状態を g(t, s) ≥ h を満たす状態として定義し、すべての行動が予測された安全領域内に制限されるようにする。
• すべての t に対して βt = 2 を用いてロバストネス制約を組み込み、環境のダイナミクスを反映するように空間的（ks, kŝ）および時間的（kt, kt̂）カーネルの長さスケールと分散を調整する。

実験結果

リサーチクエスチョン

• RQ1 時間的に変化し、事前には未知の安全関数を伴う環境において、安全な探索アルゴリズムが安全保証を維持できるか？
• RQ2 安全制約が時間とともに変化する状況で、エージェントが安全領域が縮小する状況に閉じ込められないようにするにはどうすればよいか？
• RQ3 将来の観測の最悪ケースを想定したミニマックス定式化が、安全性和と探索効率の両方をどの程度向上できるか？
• RQ4 時間的空間的ガウス過程は、月面地形のような現実世界の環境における動的かつ変化する安全関数を効果的にモデル化できるか？
• RQ5 ST-SafeMDPアルゴリズムは、ベースライン手法と比較して、安全（正確性）、効率（再現性）、および故障率の観点でどの程度優れているか？

主な発見

• 100回のモンテカルロランで実施した合成シミュレーションにおいて、ST-SafeMDPは4つのベースラインを上回り、精度、正確性、再現性、および故障回数の観点で優れた性能を示した。
• ST-SafeMDPは、ベースラインと比較して高い正確性（0.92）と再現性（0.85）を達成しており、強固な安全保証と効果的な安全領域拡大を示している。
• 月面地形シミュレーションでは、ST-SafeMDPは高い安全（正確性 > 0.9）を維持しながらも、最高の再現性（0.85）を達成し、安全かつ効率的な探索を実現した。
• ミニマックス定式化により、最悪の将来の観測が加わっても安全領域が予期せず縮小することを効果的に防いだ。
• 時間的空間的ガウス過程のモデリングにより、時間的に変化する安全関数の正確な予測が可能となり、RMSEを1.0に正規化したST-SafeMDPの性能は、不安全なベースラインを下回った。
• 可視化比較（図5）により、ST-SafeMDPが最小限の不安全行動で最大の安全領域を探索しており、時間不変および不安全な探索戦略を上回ることを確認した。