[論文レビュー] Off-Policy Actor-Critic in an Ensemble: Achieving Maximum General Entropy and Effective Environment Exploration in Deep Reinforcement Learning

Gang Chen, Yiming Peng|arXiv (Cornell University)|Feb 14, 2019

Reinforcement Learning in Robotics参考文献 42被引用数 5

ひとこと要約

本論文は、深層強化学習におけるより効果的な探索を可能にするために、Soft Actor-Critic (SAC) を一般化エントロピー測度—Tsallis エントロピーおよび Rényi エントロピー—を最大化するように拡張する新しい方策反復理論を提案する。本手法は TAC および RAC のアルゴリズムを導入し、さらにブートストラップに基づく探索と Q ネットワークに基づく行動選択を組み合わせた Ensemble Actor-Critic (EAC) を開発した。6つのベンチマーク制御タスクにおいて、SAC や他の最先端手法を上回る、画期的なサンプル効率と性能を達成した。

ABSTRACT

We propose a new policy iteration theory as an important extension of soft policy iteration and Soft Actor-Critic (SAC), one of the most efficient model free algorithms for deep reinforcement learning. Supported by the new theory, arbitrary entropy measures that generalize Shannon entropy, such as Tsallis entropy and Renyi entropy, can be utilized to properly randomize action selection while fulfilling the goal of maximizing expected long-term rewards. Our theory gives birth to two new algorithms, i.e., Tsallis entropy Actor-Critic (TAC) and Renyi entropy Actor-Critic (RAC). Theoretical analysis shows that these algorithms can be more effective than SAC. Moreover, they pave the way for us to develop a new Ensemble Actor-Critic (EAC) algorithm in this paper that features the use of a bootstrap mechanism for deep environment exploration as well as a new value-function based mechanism for high-level action selection. Empirically we show that TAC, RAC and EAC can achieve state-of-the-art performance on a range of benchmark control tasks, outperforming SAC and several cutting-edge learning algorithms in terms of both sample efficiency and effectiveness.

研究の動機と目的

• SAC がシャノン エントロピーの最大化により、低報酬行動を維持する可能性があるという、効果的な環境探索の制限を是正すること。
• 連続的行動空間において、Tsallis エントロピーおよび Rényi エントロピーを含む任意の一般エントロピー測度をサポートするように、ソフト方策反復を拡張すること。
• ブートストラップ機構とハイレベルな行動選択を用いて、探索を強化する新しいアンサンブルベースのアクタ・クリティックフレームワーク (EAC) を開発すること。
• エントロピー正則化アルゴリズムが、SAC や他の最先端手法と比較して、より高いサンプル効率と性能を達成することを実証的に検証すること。

提案手法

• Tsallis エントロピーおよび Rényi エントロピーの最大化を含む、任意のエントロピー測度を最大化する新しい方策反復理論を提案し、ソフトアクタ・クリティックを一般化する。
• Tsallis エントロピー最大化に基づくポリシー最適化目的関数と Rényi エントロピー最大化に基づくポリシー最適化目的関数をそれぞれ用いて、TAC および RAC アルゴリズムを開発する。
• 各ポリシーが Tsallis エントロピーまたは Rényi エントロピーを最大化するように学習させるポリシーのアンサンブルを導入し、多様な探索戦略を可能にする。
• Osband et al. (2016) が提唱したブートストラップ機構を用いて、アンサンブル全体における深層的環境探索を促進する。
• 複数のアンサンブル ポリシーからの提言を統合する価値関数ベースの Q ネットワークを設計し、ハイレベルな行動選択を実現する。
• SAC のフレームワークに従い、リプレイ バッファの再利用とターゲットネットワークを用いて、学習の安定化を図る。ただし、一般化されたエントロピー目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 Tsallis エントロピーおよび Rényi エントロピーといった一般エントロピー測度を最大化することは、連続的制御タスクにおいてシャノン エントロピーの最大化よりも、より効果的な探索をもたらすか？
• RQ2 Tsallis エントロピーおよび Rényi エントロピーに基づくポリシーは、SAC と比較して、サンプル効率および最終的性能においてどのように異なるか？
• RQ3 異なるエントロピー測度で学習されたポリシーのアンサンブルは、個々のエージェントを上回る探索および学習性能を向上させるか？
• RQ4 TAC および RAC のパフォーマンスに与えるエントロピー指数（q または η）の影響は何か？
• RQ5 ブートストラップ探索と Q ネットワークに基づく行動選択を組み合わせた、提案された EAC フレームワークは、優れたパフォーマンスと頑健性を達成するか？

主な発見

• TAC, RAC, EAC は、6つのベンチマーク制御タスクにおいて、SAC や他の最先端手法を上回る、画期的なパフォーマンスを達成し、サンプル効率および最終的性能の両面で優れている。
• Tsallis エントロピーおよび Rényi エントロピーで学習されたポリシーのアンサンブルを用いた EAC アルゴリズムは、Ant や Half Cheetah といった複雑な環境において特に顕著な改善を示した。
• 適切に調整されたエントロピー指数（例：q=1.5 または η=1.5）は、ベースラインの SAC よりも優れたパフォーマンスをもたらし、最適値は問題に依存することがわかった。
• Lunar Lander では、η=2.0 を用いた RAC が最良のパフォーマンスを達成した。これは、最適なエントロピー指数が環境のダイナミクスに依存することを示している。
• ブートストラップ探索と Q ネットワークに基づく行動選択を組み合わせたアンサンブルベースの EAC フレームワークは、単一エージェントのベースラインと比較して、学習の安定性とサンプル効率を顕著に向上させた。
• 提案されたすべてのアルゴリズムはハイパーパramータ設定に対して頑健であり、各ベンチマークで10個の異なる乱数シードに対して一貫した性能向上を示した。