[論文レビュー] The Potential of the Return Distribution for Exploration in RL

Thomas M. Moerland, Joost Broekens+1 more|arXiv (Cornell University)|Jun 11, 2018

Reinforcement Learning in Robotics参考文献 23被引用数 6

ひとこと要約

本稿では、深層強化学習における探索の根拠として、リターン分布の分散と形状を用いる手法を提案している。ガウス分布、カテゴリカル分布、ガウス・ミックスチャネル分布を用いて探索を誘導する。リターンに基づく不確実性が、ニューラルネットワークを用いて以前に未解決であった100ステップのランダム化チェーンタスクを解けることを示しており、分布が狭くなるに従い自然に探索から活用へと移行することを示している。

ABSTRACT

This paper studies the potential of the return distribution for exploration in deterministic reinforcement learning (RL) environments. We study network losses and propagation mechanisms for Gaussian, Categorical and Gaussian mixture distributions. Combined with exploration policies that leverage this return distribution, we solve, for example, a randomized Chain task of length 100, which has not been reported before when learning with neural networks.

研究の動機と目的

• 決定論的深層強化学習環境における探索を改善するために、リターン分布の完全なモデリングが有効であるかを調査すること。
• 特に分散と形状に注目したリターン分布における不確実性が、より洗練された探索戦略を誘導できるかを検討すること。
• ガウス分布、カテゴリカル分布、ガウス・ミックスチャネル分布といった、異なるリターン分布のパrameter化方法の有効性を、困難な順序決定タスクにおいて評価すること。
• リターンに基づく探索が、ニューラルネットワークを用いて以前に達成されていなかった100ステップのランダム化チェーンタスクを解けるかを実証すること。
• トレーニング中にリターン分布が狭まるに従い、探索から活用への動的シフトを可視化および分析すること。

提案手法

• 本稿では、3種類のパラメトリックな形式（ガウス分布、カテゴリカル分布（Bellemareら、2017年）、ガウス・ミックスチャネル分布）を用いて、リターン分布 $ p_{\phi}(Z|s,a) $ をモデリングしている。
• 分布的ベルマン方程式を再帰的に適用し、MDPを介してリターン分布を伝搬させ、バックプロパゲーションにより平均と分散（またはミックスチャネル成分）を更新している。
• 損失関数として、カテゴリカル分布には交差エントロピー、ガウス出力にはガウスの対数尤度、ガウス・ミックスチャネルには特化した損失関数を用い、勾配爆発を防ぐために勾配クリッピングを適用している。
• 探索はリターン分布における不確実性に基づいて誘導される。方策は、リターン分布の上尾を最大化する行動選択により楽観的になり、または分布パラメータに対してトンプソンサンプリングを用いる。
• オンポリシーのロールアウトとオフポリシーのリプレイ経験を組み合わせており、リプレイバッファのサイズは50,000、ミニバッチSGDとAdam最適化を用いている。
• 本手法は、初期化時に最適行動がランダムに割り当てられる100ステップのランダム化チェーンタスクで評価されている。これにより構造的バイアスを回避している。

実験結果

リサーチクエスチョン

• RQ1 リターン分布の完全なモデリングが、決定論的深層強化学習環境における探索を改善できるか？
• RQ2 リターン分布の形状と分散が、平均ベースのQ値探索と比較して、より優れた探索をどのように促進するか？
• RQ3 リターン分布に基づく探索が、ニューラルネットワークベースの強化学習において困難とされる100ステップのランダム化チェーンタスクを解けるか？
• RQ4 リターン分布が狭まるに従い、探索から活用への自然な移行が生じるか？
• RQ5 ガウス分布、カテゴリカル分布、ガウス・ミックスチャネル分布といった、異なるパラメトリックなリターン分布の性能と安定性は、どのように比較できるか？

主な発見

• 提案されたリターン分布に基づく探索手法は、この文脈でニューラルネットワークを用いて以前に未解決であった100ステップのランダム化チェーンタスクを正常に解いた。
• リターン分布は、初期化時には広く一様な分布から、収束時には鋭くピークを持つ決定論的方策へと進化しており、探索から活用への自然なシフトが示された。
• チェーンタスクにおいて、正しい行動が段階的にリターン質量を終端価値1へと後退的に伝搬させ、68エピソード目以降には最終方策が一貫して最適行動を選択した。
• トンプソンサンプリングとUCBベースの探索が、標準的な $ε$-greedy手法と比較して、収束をより速く、より一貫した方策学習を実現した。
• ガウス・ミックスチャネルとカテゴリカル分布は安定したトレーニングダイナミクスを示したが、ガウス分布の場合は対数尤度勾配のため最適化の不安定性を防ぐために勾配クリッピングが必要だった。
• 可視化により、特に初期段階におけるリターン分布の不確実性が、広範な探索的方策をもたらし、後期にかけての分布の狭まりが最適行動に対する自信を示していることが確認された。