[論文レビュー] Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor

Tuomas Haarnoja, Aurick Zhou+2 more|arXiv (Cornell University)|Jan 4, 2018

Reinforcement Learning in Robotics参考文献 34被引用数 3,481

ひとこと要約

Soft Actor-Critic (SAC) は、オフポリシーで最大エントロピーのアクター-クリティック手法で、確率的ポリシーを持ち、連続制御タスクにおいて最新の性能と安定性を達成し、従来法よりサンプル効率を改善する。

ABSTRACT

Model-free deep reinforcement learning (RL) algorithms have been demonstrated on a range of challenging decision making and control tasks. However, these methods typically suffer from two major challenges: very high sample complexity and brittle convergence properties, which necessitate meticulous hyperparameter tuning. Both of these challenges severely limit the applicability of such methods to complex, real-world domains. In this paper, we propose soft actor-critic, an off-policy actor-critic deep RL algorithm based on the maximum entropy reinforcement learning framework. In this framework, the actor aims to maximize expected reward while also maximizing entropy. That is, to succeed at the task while acting as randomly as possible. Prior deep RL methods based on this framework have been formulated as Q-learning methods. By combining off-policy updates with a stable stochastic actor-critic formulation, our method achieves state-of-the-art performance on a range of continuous control benchmark tasks, outperforming prior on-policy and off-policy methods. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving very similar performance across different random seeds.

研究の動機と目的

• モデルフリー深屈RLの高いサンプル複雑性とハイパーパラメータ感度に対処・動機づける。
• 確率的ポリシーを持つオフポリシー最大エントロピーアクター-クリティックアルゴリズムを開発する。
• 難易度の高い連続制御ベンチマークでの安定性と高い性能を実証する。
• ソフトポリシー反復と実用的なSACの実装に対する理論的収束結果を提供する。
• SACを最先端のオフポリシーおよびオンポリシーのベースラインと比較し、主要なハイパーパラメータを分析する。

提案手法

• エントロピー項を温度パラメータとともに含む最大エントロピー強化学習目的を定式化する。
• ソフトポリシー反復を導出し、ポリシークラス内で最適な最大エントロピー政策への収束を証明する。
• V、Q、ポリシーのパラメトリックネットワークを用いてSACを導入し、正のバイアスを抑えるために2つのQ関数を使用する。
• リプレイバッファを用いたオフポリシー確率的勾配更新によりV、Q、ポリシーを最適化する。
• 再パラメータ化トリックを用いて低分散のポリシー勾配を得る。
• 連続制御ベンチマークでSACを評価し、DDPG、PPO、SQLと比較する。

実験結果

リサーチクエスチョン

• RQ1 オフポリシー最大エントロピーフレームワークは、連続制御に対して安定でサンプル効率の良い学習を生み出せるか。
• RQ2 確率的ポリシーとエントロピー最大化を取り入れることで、探索と頑健性は従来のオフポリシー手法と比べて改善されるか。
• RQ3 SACは難易度の高いタスク（例：Humanoid）において、DDPG、PPO、その他のベースラインと比べてどの程度性能を発揮するか。
• RQ4 報酬スケーリング、ターゲット更新の平滑化など、SACの性能と安定性に影響を与える主要な要因は何か。

主な発見

• SACは、オフポリシーおよびオンポリシーのベースラインの両方と比較して、難易度の高い連続制御タスクで優れた性能とサンプル効率を達成する。
• 2つのQ関数を用いることで正のバイアスを緩和し、特に難しいタスクでトレーニング速度を向上させる。
• エントロピー最大化を伴う確率的ポリシーは、決定論的バリアントより安定したトレーニングと種間の一貫性をもたらす。
• 報酬スケーリングはエントロピー項の温度制御として機能し、学習ダイナミクスに大きな影響を与える。
• ターゲットネットワークの平滑化定数tauは安定性とトレーニング速度に影響を及ぼし、比較的広い有効範囲を持つ。
• ポリシー平均を用いた評価はより良い性能を示す場合があるが、SACは確率的ポリシーを最適化する。