[論文レビュー] Safe Exploration in Markov Decision Processes

Teodor Mihai Moldovan, Pieter Abbeel|arXiv (Cornell University)|May 22, 2012

Reinforcement Learning in Robotics参考文献 28被引用数 60

ひとこと要約

本稿では、マルコフ決定過程（MDP）の安全な探索フレームワークを提案し、学習中にシステム障害を回避するため、ポリシーが高い確率で一様性（ergodicity）を維持することを保証する。安全な制御は、保証された安全ポリシーの部分集合に対する制約付き最適化として定式化され、探索ボーナスと互換性のある、証明可能な安全な探索を可能にする。グリッドワールドおよび火星地形シミュレーションにおいて、不安全な手法を上回る性能を示した一方で、計算的に実行可能であることが実証された。

ABSTRACT

In environments with uncertain dynamics exploration is necessary to learn how to perform well. Existing reinforcement learning algorithms provide strong exploration guarantees, but they tend to rely on an ergodicity assumption. The essence of ergodicity is that any state is eventually reachable from any other state by following a suitable policy. This assumption allows for exploration algorithms that operate by simply favoring states that have rarely been visited before. For most physical systems this assumption is impractical as the systems would break before any reasonable exploration has taken place, i.e., most physical systems don't satisfy the ergodicity assumption. In this paper we address the need for safe exploration methods in Markov decision processes. We first propose a general formulation of safety through ergodicity. We show that imposing safety by restricting attention to the resulting set of guaranteed safe policies is NP-hard. We then present an efficient algorithm for guaranteed safe, but potentially suboptimal, exploration. At the core is an optimization formulation in which the constraints restrict attention to a subset of the guaranteed safe policies and the objective favors exploration policies. Our framework is compatible with the majority of previously proposed exploration methods, which rely on an exploration bonus. Our experiments, which include a Martian terrain exploration problem, show that our method is able to explore better than classical exploration methods.

研究の動機と目的

• 物理系における強化学習の安全保証の欠如、特に一様性が成立しない状況を解決すること。
• 不確実性下でのMDPにおける一様性制約による安全の定式化を通し、探索中のシステム安定性を保証すること。
• 正確な安全確保がNP困難である場合でも、保証された安全な探索のための効率的近似アルゴリズムを開発すること。
• 既存の探索ボーナスと統合することで、幅広い探索アルゴリズムと互換性を持つようにすること。
• 複雑な環境、特に50×100グリッドワールドおよび火星地形シミュレーションにおいて、手法の有効性を検証すること。安全な探索性とカバレッジの向上を示す。

提案手法

• 最小確率δで一様性を維持するという枠組みに基づく安全な定式化を提案。これにより、ポリシー下でいかなる状態も到達可能であることが保証される。
• MDPのダイナミクスにおける不確実性を、状態高さの相関ガウス分布としてモデル化。事前信念としてHiRISEデータとリモートセンシングモデルを用いる。
• 情報量の多い状態遷移を促進するため、エントロピーの一次近似を探索ボーナスとして使用。
• 線形計画法を用いて安全制約を課し、不確実性下でも一様性を保つポリシーに制限する。
• NP困難な安全ポリシー選択問題の凸緩和を用い、安全制約を満たす中で探索ボーナスを最大化する最適化を実行。
• 各ステップ後に遷移確率を更新する信念ベースMDP定式化を採用。知識の向上に伴い、反復的再計画が可能となる。

実験結果

リサーチクエスチョン

• RQ1 一様性仮定に依存しないMDPにおける安全な探索を形式的に定式化できるか？
• RQ2 効率的なアルゴリズムを設計することで、安全保証を維持しながら効果的な探索を可能にすることができるか？
• RQ3 高リスク環境において、標準的な探索アルゴリズムと比較して、提案手法の安全性とカバレッジはどのように異なるか？
• RQ4 既存の探索ボーナスと統合可能であり、安全保証を損なわないか？
• RQ5 火星地形のような大規模MDPにおいて、安全制約の強制にかかる計算コストはどの程度か？

主な発見

• 提案手法は50×100グリッドワールドを安全に探索し、不安全な手法よりも優れたカバレッジを達成した。
• 火星地形シミュレーションでは、安全レベル0.98で不安全な探索に比べてはるかに広範囲をカバーした。不安全な探索はクレーターに閉じ込められていた。
• 期待遷移に基づくナイーブな安全制約は、0.98の水準でも性能が低く、不確実性を考慮した安全保証の必要性が浮き彫りになった。
• 火星実験における計画時間は、安全レベル0.98でステップあたり平均5.86秒であり、安全レベルが高くなると計算時間が増加した。
• 安全保証を維持しながら、近似的に最適な探索性能を達成し、不安全およびナイーブに制約を課した手法を上回った。
• 本フレームワークは、安全領域からの脱出確率の上限や期待報酬のしきい値といった、複数の安全基準を同時にサポート可能である。