[論文レビュー] Safe Policy Improvement with Baseline Bootstrapping

Romain Laroche, Paul Trichelair+1 more|arXiv (Cornell University)|Dec 19, 2017

Information and Cyber Security被引用数 82

ひとこと要約

この論文は、未確定な状態-行動ペアで訓練ポリシーをベースラインでブートストラップする安全なバッチRL手法 SPIBB を提案し、理論的な安全保証と、実用的なモデルフリー版 SPIBB-DQN を提供します。

ABSTRACT

This paper considers Safe Policy Improvement (SPI) in Batch Reinforcement Learning (Batch RL): from a fixed dataset and without direct access to the true environment, train a policy that is guaranteed to perform at least as well as the baseline policy used to collect the data. Our approach, called SPI with Baseline Bootstrapping (SPIBB), is inspired by the knows-what-it-knows paradigm: it bootstraps the trained policy with the baseline when the uncertainty is high. Our first algorithm, $Π_b$-SPIBB, comes with SPI theoretical guarantees. We also implement a variant, $Π_{\leq b}$-SPIBB, that is even more efficient in practice. We apply our algorithms to a motivational stochastic gridworld domain and further demonstrate on randomly generated MDPs the superiority of SPIBB with respect to existing algorithms, not only in safety but also in mean performance. Finally, we implement a model-free version of SPIBB and show its benefits on a navigation task with deep RL implementation called SPIBB-DQN, which is, to the best of our knowledge, the first RL algorithm relying on a neural network representation able to train efficiently and reliably from batch data, without any interaction with the environment.

研究の動機と目的

• 真の環境が利用不可能な場合のオフラインバッチRLにおける安全なポリシー改善を動機づける。
• ベースラインポリシーを用いて不確かな状態-行動ペアで意思決定をブートストラップするSPIBBフレームワークを導入する。
• ほぼ安全な改善の理論的保証を提供し、計算的に効率的な派生を開発する。
• スケーラブルな応用のためにSPIBBをモデルフリーおよびニューラルネットワークベースの設定へ拡張する。
• グリッドワールド、ランダムMDP、および深層RLのナビゲーションタスクにおける経験的な安全性と性能の利点を示す。

提案手法

• 不確定性集合全体で改善をベースラインに対して安全に制約するパーセンタイル/安全性基準の再定式化を定義する。
• 希少な (x,a) のペアを基盤としてベースラインに従うよう強制するブートストラップ済みの状態-行動集合を導入する（Pi_b-SPIBB）。
• Pi_b-SPIBB制約の下で収束保証を備えたモデルベースのポリシーイテレーションを開発する。
• 実用的な性能のためにブートストラップ制約を緩和するより寛容な Pi_≤b-SPIBB 版を提供する。
• SPIBBターゲットを用いたモデルフリー版と、ニューラルネットワーク向けの疑似カウントにヒントを得たブートストラッピングを用いるSPIBB-DQNを提供する。
• カウントN_◇を安全性と改善へ結びつける関連理論的境界を提示する。

実験結果

リサーチクエスチョン

• RQ1 環境と相互作用することなく、オフラインバッチRL設定で与えられたベースラインを上回る改善ポリシーを保証できるか。
• RQ2 不確かな状態-行動ペアに対して、ベースラインブーストラッピングをどのように活用して安全にポリシー改善を制約できるか。
• RQ3 安全性と性能の観点から、モデルベースの Pi_b-SPIBB とより実用的な Pi_≤b-SPIBB とのトレードオフは何か。
• RQ4 SPIBB をモデルフリーおよび深層RL設定へ拡張して、スケーラブルなオフライン改善を可能にできるか。
• RQ5 既存のSPI手法と比較して、さまざまなドメイン（グリッドワールド、ランダムMDP、ナビゲーションタスク）におけるSPIBBのバリアントの性能はどうなるか。

主な発見

• SPIBBは有限MDPにおいて、基準値に対して高い確率で証明可能な安全な政策改善を提供する。
• Pi_b-SPIBBは推定MDPでPi_b最適政策へ収束し、ベースラインに対してzeta近似の安全な改善をもたらす。
• Pi_≤b-SPIBBは実用的な安全性と効率を維持しつつ、しばしばより良いまたは同等の改善を達成する。
• モデルフリーのSPIBBバリアントとSPIBB-DQNは、環境との相互作用なしにバッチデータからの安全な学習を可能にする。
• 経験的な結果は、SPIBBバリアントがグリッドワールドとランダムMDP全体で平均性能とCVaR安全性の点でいくつかのベースラインを上回り、SPIBB-DQNが連続的なナビゲーションタスクで安全な改善を示すことを示している。