[論文レビュー] Effective Exploration for Deep Reinforcement Learning via Bootstrapped Q-Ensembles under Tsallis Entropy Regularization

Gang Chen, Yiming Peng+1 more|arXiv (Cornell University)|Sep 2, 2018

Reinforcement Learning in Robotics参考文献 35被引用数 8

ひとこと要約

本稿では、Tsallis エントロピー正則化に基づくブートストラップ Q エンsemble（BQETR）を提案する。これは、Tsallis エントロピー正則化とブートストラップ Q ネットワーク エンsembleを組み合わせることで、探索を強化する深層強化学習アルゴリズムである。一般化された Tsallis エントロピーを用いて確率的方策学習をガイドし、Q ネットワーク間で正則化パラメータを変化させることで、従来の手法（Bootstrapped DQN や UCB Q-Ensemble）よりもより効果的かつサンプル効率の高い探索を実現している。Atari ゲームにおける実験で、この手法は優れた性能を示した。

ABSTRACT

Recently deep reinforcement learning (DRL) has achieved outstanding success on solving many difficult and large-scale RL problems. However the high sample cost required for effective learning often makes DRL unaffordable in resource-limited applications. With the aim of improving sample efficiency and learning performance, we will develop a new DRL algorithm in this paper that seamless integrates entropy-induced and bootstrap-induced techniques for efficient and deep exploration of the learning environment. Specifically, a general form of Tsallis entropy regularizer will be utilized to drive entropy-induced exploration based on efficient approximation of optimal action-selection policies. Different from many existing works that rely on action dithering strategies for exploration, our algorithm is efficient in exploring actions with clear exploration value. Meanwhile, by employing an ensemble of Q-networks under varied Tsallis entropy regularization, the diversity of the ensemble can be further enhanced to enable effective bootstrap-induced exploration. Experiments on Atari game playing tasks clearly demonstrate that our new algorithm can achieve more efficient and effective exploration for DRL, in comparison to recently proposed exploration methods including Bootstrapped Deep Q-Network and UCB Q-Ensemble.

研究の動機と目的

• 深層強化学習（DRL）における高いサンプルコストを低減するため、探索の効率性を向上させること。
• 既存手法における行動のばらつき（action dithering）や信頼区間ベースの探索の限界を克服すること。
• 統一されたフレームワークを通じて、エントロピー由来の探索とブートストラップ由来の探索をシームレスに統合すること。
• より的確で効果的な探索を実現するため、Tsallis エントロピー正則化を活用する新規なアルゴリズムを開発すること。
• ベンチマーク用 Atari 環境において、優れたサンプル効率と性能を示すことを目的とする。

提案手法

• 一般化された Tsallis エントロピー正則化を導入し、高探索価値の行動を優先する最適な確率的方策を導出する。
• 各 Q ネットワークが異なる Tsallis エントロピーパラメータ $q$ を持つ Q ネットワークのアンサンブルを採用し、多様性とブートストラップ由来の探索を強化する。
• 計算的に効率的な最適方策の近似を用いることで、計算が困難な計算を回避する。
• 学習が進むに従い、正則化係数 $\alpha$ を徐々に 0 に減少させる。これにより、探索から活用への滑らかな移行が可能になる。
• Bellman 残差解析を用いて、近似が最終的な性能を劣化させないことを示す。
• エントロピーに基づく行動選択とアンサンブルサンプリングを組み合わせることで、ランダム初期化に依存せずに深く効果的な探索を実現する。

実験結果

リサーチクエスチョン

• RQ1 Tsallis エントロピー正則化は、シャノン エントロピー や行動のばらつき（action dithering）と比較して、深層強化学習における探索効率を向上させることができるか？
• RQ2 Tsallis エントロピー正則化とブートストラップ Q エンsembleを組み合わせることで、探索の多様性と性能がどのように向上するか？
• RQ3 提案された BQETR アルゴリズムは、Atari ゲームにおいて Bootstrapped DQN や UCB Q-Ensemble よりも優れたサンプル効率を達成できるか？
• RQ4 正則化係数 $\alpha$ を徐々に減少させることで、方策の収束性と性能にどのような影響を与えるか？
• RQ5 一般化された Tsallis エントロピーの形式は、低価値の行動に対して一様でない確率質量の問題を回避できるか？

主な発見

• BQETR は、Atari ゲームベンチマークにおいて、Bootstrapped DQN や UCB Q-Ensemble よりもより効果的かつ効率的な探索を達成した。
• Tsallis エントロピー正則化の導入により、低探索価値の行動に対する非一様な確率質量が低減され、有望な行動に焦点が向かうようになった。
• Bellman 残差解析により、Tsallis 正則化下での最適方策の近似が性能を劣化させないことが示された。
• 正則化係数 $\alpha$ の徐々な減少により、探索から活用への滑らかな移行が可能になった。
• Q ネットワーク間で $q$ パラメータを変化させることで、アンサンブルの多様性が向上し、ブートストラップ由来の探索が強化された。
• 実験結果から、BQETR がサンプル効率的かつ効果的であり、Atari における最先端の探索手法を上回ることを確認した。