[論文レビュー] Exploration by Distributional Reinforcement Learning

Yunhao Tang, Shipra Agrawal|arXiv (Cornell University)|May 4, 2018

Reinforcement Learning in Robotics参考文献 16被引用数 11

ひとこと要約

本論文は、ガウス分布パラメータを用いてリターン分布をモデル化することで、探索手法を統一する分布的強化学習フレームワークを提案する。パラメータ空間ノイズを介して効率的な探索を可能にする。この手法、Gauss Exploration (GE) は、価値関数パラメータの学習された不確実性を介して探索と活用のバランスを取ることで、スパース報酬制御タスクにおいて優れた性能を発揮する。

ABSTRACT

We propose a framework based on distributional reinforcement learning and recent attempts to combine Bayesian parameter updates with deep reinforcement learning. We show that our proposed framework conceptually unifies multiple previous methods in exploration. We also derive a practical algorithm that achieves efficient exploration on challenging control tasks.

研究の動機と目的

• 複数の既存の探索手法を、1つの分布的強化学習フレームワークに統合すること。
• 難易度が高く報酬がスパースな環境では単純な探索戦略（例：ε-greedy）に限界があることに対処すること。
• 価値関数パラメータの不確実性を通じて、体系的かつ効率的な探索を可能にする実用的なアルゴリズムを開発すること。
• DQN、NoisyNet、およびアクションノイズを用いた標準DQNと比較して、挑戦的な制御ベンチマークでサンプル効率と性能が向上することを示すこと。

提案手法

• 各ネットワーク重みおよびバイアスに対して、パrametricなガウス分布族（μθ と σθ）を用いてリターン分布をモデル化する。
• 分布的ベルマン作用素を適用してリターン分布を伝播させ、不一致尺度を用いて最も近いパrametric分布に投影する。
• 期待ベルマン誤差とエントロピー正則化を組み合わせたハイブリッド目的関数を用い、探索と活用のバランスを取る。
• ランダム化されたクライアントを用いた方策勾配更新を実施し、クライアントのパラメータを学習された分布からサンプリングすることで学習プロセスにノイズを注入する。
• 再パrametrizationトリックを用いて、パラメータ分布の微分可能トレーニングを可能にし、探索行動のエンドツーエンド最適化を可能にする。
• 探索と収束のバランスを取るために、グリッドサーチを用いてハイパーパラメータ ρ（パラメータ分布の広がりを制御）と σ（エントロピー正則化を制御）を調整する。

実験結果

リサーチクエスチョン

• RQ1 分布的強化学習を用いて、事後サンプリングやパラメータ空間ノイズ注入といった既存の探索手法を統一できるか？
• RQ2 ガウス分布族を用いてリターン分布をモデル化することで、深層強化学習における探索がどのように改善されるか？
• RQ3 パラメータ分布の不確実性は、スパース報酬環境におけるサンプル効率にどのような影響を与えるか？
• RQ4 ハイパーパラメータ ρ と σ は、提案フレームワークにおける探索と活用のトレードオフにどのように影響するか？
• RQ5 提案手法は、挑戦的な制御タスクにおいて、ε-greedyを用いた標準DQNやNoisyNetを上回る性能を発揮できるか？

主な発見

• 提案されたGauss Exploration (GE) アルゴリズムは、DQNが限定的な領域に集中するのとは対照的に、より体系的かつ広範な状態空間カバレッジを達成する。
• スパース報酬環境（例：Sparse CartPole、Sparse MountainCar、Sparse Acrobot）において、GEはDQNおよびNoisyNetと比較して学習プロセスと最終的性能で顕著に優れている。
• スパース報酬を伴う連続的制御タスクでは、ランダム化されたクライアント（GEを用いる）を搭載したDDPGが、アクションノイズを注入するDDPGよりも高い速度で進捗を示す。
• 性能はハイパーパラメータ ρ と σ に対して非単調であり、探索の広がりと収束速度の間の重要なトレードオフが示されている。
• 本手法は、バンディット問題における事後サンプリングと、DQNにおけるベイズ的パラメータ更新を、1つの分布的強化学習フレームワークに統合することに成功した。
• 実験的結果から、ρ と σ の両方が性能に不可欠であり、最適値は対数スケールでのグリッドサーチにより特定された。