[論文レビュー] Towards Safe Policy Improvement for Non-Stationary MDPs

Yash Chandak, Scott M. Jordan+3 more|arXiv (Cornell University)|Oct 23, 2020

Reinforcement Learning in Robotics参考文献 64被引用数 9

ひとこと要約

本稿では、時間とともに滑らかに変化する環境ダイナミクスを示す非定常マルコフ決定過程（NS-MDP）における安全な方策改善のためのSeldonian強化学習アルゴリズム、SPINを提案する。モデルフリーRLと時系列解析、およびワイルドブートストラップ信頼区間を用いた逐次仮説検定を組み合わせることで、提案された方策が既知の安全方策の性能を下回らないことを保証し、NS-MDP全体をモデル化する必要がない高信頼性の安全確保を達成する。

ABSTRACT

Many real-world sequential decision-making problems involve critical systems with financial risks and human-life risks. While several works in the past have proposed methods that are safe for deployment, they assume that the underlying problem is stationary. However, many real-world problems of interest exhibit non-stationarity, and when stakes are high, the cost associated with a false stationarity assumption may be unacceptable. We take the first steps towards ensuring safety, with high confidence, for smoothly-varying non-stationary decision problems. Our proposed method extends a type of safe algorithm, called a Seldonian algorithm, through a synthesis of model-free reinforcement learning with time-series analysis. Safety is ensured using sequential hypothesis testing of a policy's forecasted performance, and confidence intervals are obtained using wild bootstrap.

研究の動機と目的

• 高リスクを伴う実世界の非定常な順序的意思決定問題における強化学習の安全性保証の欠如に対処すること。
• 時間とともに滑らかに変化する非定常MDP（NS-MDP）における安全な方策改善問題を形式化すること。
• 環境が非定常であっても、提案された方策が既知の安全方策より性能が悪化しないことを保証するアルゴリズムを開発すること。
• 安全な方策のデプロイ確率を所望のしきい値に制限できる、ユーザーが制御可能な信頼度のスイッチを提供すること。
• 実際の状況ではしばしば非現実的である、NS-MDPの明示的モデル化を回避すること。

提案手法

• 逐次仮説検定を用いて、候補方策の予測性能を既知の安全方策と比較することで、非定常設定へのSeldonianアルゴリズムの拡張を行う。
• 将来の性能推定における信頼区間を構築するためのワイルドブートストラップリサンプリングを採用し、非定常性下でも頑健な統計的推論を可能にする。
• 過去のリターンの時系列モデリングによる反事後的性能推定を用い、方策の将来の性能トレンドを予測する。
• オフポリシー評価に重要度サンプリングを適用するが、その高分散性の可能性には言及している。
• 候補方策の性能が信頼区間内で安全方策よりも統計的に優れている場合にのみ、方策改善ループを実行する。
• 性能トレンドのモデリングに、次元が異なるフーリエ基底関数を用い、近似精度に対する感度分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 時間とともに滑らかに変化する環境ダイナミクスを示す非定常MDPにおいて、方策改善の高信頼性の安全性を保証できるか？
• RQ2 基礎となる非定常MDPの明示的モデリングを必要とせずに、安全性保証を維持できるか？
• RQ3 非定常性下でも、提案された方策が既知の安全方策より性能が悪化しないような方法を設計できるか？
• RQ4 実用的かつ現実的な設定において、ハイパーパrameterの選択にどのように頑健な安全性保証が影響を受けるか？
• RQ5 非定常性下での性能推定において、ワイルドブートストラップ信頼区間の使用が信頼性をどの程度向上させるか？

主な発見

• SPINは、RecoSysおよび糖尿病治療の両ドメインにおいて安全を維持しており、図4の左下のプロットに示されるように、安全でない方策のデプロイは極めてまれにとどまる。
• 両ドメインにおいて、ベースラインの安全方策よりも顕著な性能向上を達成しており、図4の中央上および右上のプロットに示されるように、正規化された改善度は常に0以上を維持している。
• ハイパーパrameterを広範囲かつ現実的な範囲で変更しても、SPINは安全であることが示され、ユーザーの設定に対する頑健性が確認された。
• 重要度サンプリングは高分散性が知られているが、ワイルドブートストラップによる信頼区間推定のおかげで、アルゴリズムの安全性保証は維持されている。
• 真の性能トレンドが正確にモデル化できない場合（例：フーリエ基底関数の次元が限られている場合）でも、本手法は有効であることが示され、モデル誤指定下でも実用的応用が可能であることが示された。
• 評価手順は、非安全方策のリターンの標本平均を、安全方策のリターンと比較し、デプロイ頻度で重み付けすることで、安全でないデプロイを正しく同定している。