[論文レビュー] Off-Policy Deep Reinforcement Learning by Bootstrapping the Covariate Shift

Carles Gelada, Marc G. Bellemare|arXiv (Cornell University)|Jan 27, 2019

Reinforcement Learning in Robotics参考文献 20被引用数 6

ひとこと要約

本稿では、割引係数とソフト正規化ペナルティを導入することで、確率単体への射影を不要にし、価値関数の発散を是正する安定なオフポリシー深層強化学習手法である割引付きCOP-TDを提案する。アタリゲームにおける評価では、特にPongおよび5つのアタリ環境において、ベースラインのオフポリシー手法よりも安定性と性能が向上している。

ABSTRACT

In this paper we revisit the method of off-policy corrections for reinforcement learning (COP-TD) pioneered by Hallak et al. (2017). Under this method, online updates to the value function are reweighted to avoid divergence issues typical of off-policy learning. While Hallak et al.'s solution is appealing, it cannot easily be transferred to nonlinear function approximation. First, it requires a projection step onto the probability simplex; second, even though the operator describing the expected behavior of the off-policy learning algorithm is convergent, it is not known to be a contraction mapping, and hence, may be more unstable in practice. We address these two issues by introducing a discount factor into COP-TD. We analyze the behavior of discounted COP-TD and find it better behaved from a theoretical perspective. We also propose an alternative soft normalization penalty that can be minimized online and obviates the need for an explicit projection step. We complement our analysis with an empirical evaluation of the two techniques in an off-policy setting on the game Pong from the Atari domain where we find discounted COP-TD to be better behaved in practice than the soft normalization penalty. Finally, we perform a more extensive evaluation of discounted COP-TD in 5 games of the Atari domain, where we find performance gains for our approach.

研究の動機と目的

• 非線形関数近似を用いたオフポリシー深層強化学習における不安定性および収束問題を解消すること。
• COP-TDの限界、特に確率単体への射影の必要性と収縮写像の性質の欠如を、深層ネットワークに適用した場合に克服すること。
• 共変量シフトに基づく遷移の再重み付けにより、リプレイベースのオフポリシー設定におけるサンプル効率と学習安定性を向上させること。
• 割引付きCOP-TDおよびソフト正規化の有効性を、特にアタリ2600ドメインにおける深層強化学習環境で評価すること。

提案手法

• 理論的安定性を向上させ、無限大に発散する価値関数誤差を防ぐために、COP-TD更新則に割引係数γ̂を導入する。
• 計算コストの高い確率単体への射影ステップを置き換えるために、オンラインで最小化可能なソフト正規化ペナルティを提案する。
• 深層ニューラルネットワークを用いて、共変量シフト比c(s) = d_π(s)/d_μ(s)を予測する。ここで、d_πおよびd_μはそれぞれターゲット方策および行動方策における定常状態分布を表す。
• 予測された比を用いて時系列差分更新を再重み付けし、オフポリシーデータにおける分布シフトを効果的に補正する。
• 共変量シフト予測値をサンプリング優先度として用いた優先順位付き経験再生を適用し、データ効率を向上させる。
• Pongおよび5つのアタリゲームを用いた実験的評価を行い、さまざまなハイパーパrameterおよびサンプリング方式の下での性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 COP-TDに割引係数を導入することで、深層強化学習における安定性および収束特性が向上するか？
• RQ2 ソフト正規化ペナルティにより、確率単体への明示的射影の必要性が解消されつつ性能が維持されるか？
• RQ3 予測された共変量シフト比は、複雑な環境におけるターゲット方策下での実際の状態尤度とどの程度相関するか？
• RQ4 共変量シフトを優先度信号として用いることで、オフポリシー学習におけるサンプル効率が向上するか？
• RQ5 割引係数γ̂の選択が、予測された比および最終的なエージェント性能にどのように影響するか？

主な発見

• Pong環境では、特に均一サンプリング下で、元のCOP-TDおよびソフト正規化ベースラインと比較して、割引付きCOP-TDがより優れた安定性と性能を示した。
• ソフト正規化ペナルティはトレーニングの不安定性を軽減したが、Pongおよび広範なアタリスイートにおいて、割引付きCOP-TDに劣った性能を示した。
• 実験的結果から、予測された比c(s)は、ターゲット方策π下で起こりやすい状態（例：成功したボールリターン）と起こりにくい状態（例：相手がスコアを取る直前の状態）を効果的に区別していることが示された。
• c(s)値が低い状態は、主にエージェントが負けており、あるいは負ける直前の状態であることが確認され、モデルが意味のある分布シフトを学習していることが裏付けられた。
• 共変量シフトを優先度信号として用いることで学習効率が向上したが、ゲームによって効果の程度は異なり、特に均一サンプリング下でスペースインベーダーズで顕著な改善が得られた。
• 平均予測比は、γ̂の増加に伴い単調に減少する傾向を示しており、比がゼロに収束するリスクがあるが、γ̂ = 0.9999でも発散は観察されなかった。