[論文レビュー] Provably Good Batch Reinforcement Learning Without Great Exploration

Yao Liu, Adith Swaminathan+2 more|arXiv (Cornell University)|Jul 16, 2020

Reinforcement Learning in Robotics参考文献 38被引用数 36

ひとこと要約

この論文は、データがサポートする領域内でほぼ最適な方針を保証する保守的で周辺行動を支援するバッチ強化学習アルゴリズム（MBS-PIとMBS-QI）を紹介し、強い concentrability 仮定に依存せずに。理論と実証評価を提供し、バッチ設定における安定性とベースラインに対する性能の向上を示す。

ABSTRACT

Batch reinforcement learning (RL) is important to apply RL algorithms to many high stakes tasks. Doing batch RL in a way that yields a reliable new policy in large domains is challenging: a new decision policy may visit states and actions outside the support of the batch data, and function approximation and optimization with limited samples can further increase the potential of learning policies with overly optimistic estimates of their future performance. Recent algorithms have shown promise but can still be overly optimistic in their expected outcomes. Theoretical work that provides strong guarantees on the performance of the output policy relies on a strong concentrability assumption, that makes it unsuitable for cases where the ratio between state-action distributions of behavior policy and some candidate policies is large. This is because in the traditional analysis, the error bound scales up with this ratio. We show that a small modification to Bellman optimality and evaluation back-up to take a more conservative update can have much stronger guarantees. In certain settings, they can find the approximately best policy within the state-action space explored by the batch data, without requiring a priori assumptions of concentrability. We highlight the necessity of our conservative update and the limitations of previous algorithms and analyses by illustrative MDP examples, and demonstrate an empirical comparison of our algorithm and other state-of-the-art batch RL baselines in standard benchmarks.

研究の動機と目的

• データが状態-行動空間を部分的にしかカバーせず、従来の方法が過度に楽観的な推定を招くリスクがある batch RL を動機づける。
• Well-supportedな状態-行動ペアに更新を制限する保守的ベルマンバックアップを提案する。
• 理論保証を持つ Marginalized Behavior Supported Policy Iteration (MBS-PI) と Q-Iteration (MBS-QI) を開発する。
• 離散・連続領域でベースラインに対して頑健性と性能向上を示す実証評価を提供する。

提案手法

• 密度ベースのフィルター z(s,a; mu_hat,b) を導入し、ベルマンバックアップを well-supported な状態-行動対に制限する。
• z-constrained Bellman evaluation operator tilde{T}^{\u001cpi} および Q-learning の tilde{T} を定義し、外挿を避けるために z を用いる。
• MBS-PI および MBS-QI を、データ支援されたアクションのみを最適化する制約付き API および AVI の派生として定式化する。
• 最小二乗経験的損失 l_D(f;f',\u001cp) を用いて、制約付き演算子の枠組み内で Q 関数を適合させる。
• 理論的保証を提供: 制約集合 \u001ePi_all 内の最もカバーされた方針に対する出力を比較し、境界はハイパーパラメータ b に比例してスケールする (C = U/b による。)
• しきい値パラメータ b の選択と挙動密度 mu の推定の実践的側面について議論する。

実験結果

リサーチクエスチョン

• RQ1 バッチ RL アルゴリズムは強い concentrability 仮定に依存せずに良好な性能を保証できるか。
• RQ2 データでサポートされた状態-行動ペアにベルマンバックアップを制限することで、証明可能な保証と実証性能の向上が得られるか。
• RQ3 MBS-PI および MBS-QI は、データカバレッジを変化させた場合に既存のベースライン（例: BCQL, SPIBB, BEAR, BC）と比較してどうなるか。
• RQ4 閾値パラメータ b の conservatism と optimism のバランスにおける役割は何か、実践的にはどのように設定すべきか。
• RQ5 制約付きアプローチはデータ支援されたポリシークラス内で近似最適な性能を達成する条件は何か。

主な発見

• MBS-PI と MBS-QI は、バッチデータで探索された状態-行動空間内で、 concentrability 仮定を必要とせずにほぼ最良の方針を特定できる。
• z-制約付きベルマン演算子は、十分にサポートされていない領域の更新を減らし、従来のバッチ RL 手法でよく見られた過度に楽観的なブートストラップを緩和する。
• 理論的保証は、best covered policy との差の値のギャップがデータ密度の境界と閾値パラメータ b、さらに n や (1-γ) に依存する要因とともにスケールすることを示す。
• 離散の CartPole および連続の MuJoCo タスクで、様々なデータカバレッジのシナリオにおいて、安定性とベースラインに対する性能の向上を示す実証結果。
• このフレームワークは離散設定での safe-policy-improvement スタイルの保証を提供し、挙動密度 mu_hat の推定誤差に対する頑健性を示す。
• ハイパーパラメータ b は conservatism とデータ活用のバランスを取る中心的な要素であり、実用的な選択と診断チェックに関する指針が示される。