[論文レビュー] Shielded Decision-Making in MDPs.

Nils Jansen, Bettina Könighofer+2 more|arXiv (Cornell University)|Jul 16, 2018

Formal Methods in Verification参考文献 34被引用数 24

ひとこと要約

本論文は、確率的時相論理制約を通じて安全性を保証する強化学習のシールドメカニズムを提案する。MDPにおける固有の不確実性を活用することで、シールドは意思決定確率を計算し、安全性を確保しながらほぼ最適な学習効率を維持する。これにより、PAC-MANの学習エピソード数が桁違いに削減される。

ABSTRACT

A prominent problem in artificial intelligence and machine learning is the safe exploration of an environment. In particular, reinforcement learning is a well-known technique to determine optimal policies for complicated dynamic systems, but suffers from the fact that such policies may induce harmful behavior. We present the concept of a shield that forces decision-making to provably adhere to safety requirements with high probability. Our method exploits the inherent uncertainties in scenarios given by Markov decision processes. We present a method to compute probabilities of decision making regarding temporal logic constraints. We use that information to realize a shield that---when applied to a reinforcement learning algorithm---ensures (near-)optimal behavior both for the safety constraints and for the actual learning objective. In our experiments, we show on the arcade game PAC-MAN that the learning efficiency increases as the learning needs orders of magnitude fewer episodes. We show tradeoffs between sufficient progress in exploration of the environment and ensuring strict safety.

研究の動機と目的

• 強化学習における危険な探索の課題に対処すること、すなわち、学習中に有害な行動をとる可能性があるポリシーを回避すること。
• 学習効率を損なうことなくMDPにおける安全制約の遵守を保証する手法を開発すること。
• 時相論理制約の下で確率的意思決定を計算し、安全かつ効果的な探索を可能にすること。
• 強化学習パイプラインにシールドを統合し、安全性と学習目的の両方でほぼ最適性を維持すること。
• 動的環境における探索の進捗と厳密な安全性の強制の間のトレードオフを評価すること。

提案手法

• 本手法は、時相論理仕様から導出された確率的安全制約に基づき、リアルタイムで行動を監視・是正するシールドを導入する。
• MDPに内在する不確実性を活用して、現在のポリシー意思決定における時相論理制約の満たされる確率を計算する。
• これらの確率を用いて、提案された行動が安全制約に著しく反する可能性があるかどうかを判断し、危険な行動を上書きする。
• 本アプローチは任意の強化学習アルゴリズムと統合可能であり、安全に保証されつつほぼ最適なポリシーを学習可能である。
• 各行動の制約違反確率を評価することで、探索と安全性の動的バランスを図る。
• PAC-MAN環境を用いた評価により、必要な学習エピソード数の顕著な削減が確認された。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、高い学習効率を維持しながら、どのように安全に環境を探索できるか？
• RQ2 確率的時相論理を用いた安全制約の強制が、学習速度とポリシー品質に与える影響は何か？
• RQ3 MDPにおける不確実性を活用して、リアルタイムのシールドに適した安全意思決定確率を計算する方法は何か？
• RQ4 強化学習における探索の進捗と厳密な安全性の強制の間に存在するトレードオフは何か？
• RQ5 安全性を保証しながら学習目的のほぼ最適性を維持できるシールドメカニズムを設計できるか？

主な発見

• シールドの導入により、PAC-MANにおける学習エピソード数が顕著に削減され、学習効率が桁違いに向上した。
• 安全制約に反する行動が高確率で同定され、是正され、学習全体を通して安全性が維持された。
• 強化学習との統合により、主な学習目的におけるほぼ最適なパフォーマンスが維持された。
• 探索の進捗と安全性の強制の間のチューナブルなトレードオフが可能となり、実務家がリスクと学習速度のバランスを取れるようになった。
• 時相論理制約の確率的分析により、不確実なMDP環境において効果的かつ証明可能な安全性保証が可能になった。