[論文レビュー] Soft Actor-Critic Algorithms and Applications

Tuomas Haarnoja, Aurick Zhou+9 more|arXiv (Cornell University)|Dec 13, 2018

Reinforcement Learning in Robotics参考文献 44被引用数 1,935

ひとこと要約

本論文は Soft Actor-Critic (SAC) を紹介する。最大エントロピー強化学習と自動温度調整に基づくオフポリシーの actor-critic アルゴリズムで、連続制御タスクと実世界ロボティクスにおいて高いサンプル効率と安定性を達成する。

ABSTRACT

Model-free deep reinforcement learning (RL) algorithms have been successfully applied to a range of challenging sequential decision making and control tasks. However, these methods typically suffer from two major challenges: high sample complexity and brittleness to hyperparameters. Both of these challenges limit the applicability of such methods to real-world domains. In this paper, we describe Soft Actor-Critic (SAC), our recently introduced off-policy actor-critic algorithm based on the maximum entropy RL framework. In this framework, the actor aims to simultaneously maximize expected return and entropy. That is, to succeed at the task while acting as randomly as possible. We extend SAC to incorporate a number of modifications that accelerate training and improve stability with respect to the hyperparameters, including a constrained formulation that automatically tunes the temperature hyperparameter. We systematically evaluate SAC on a range of benchmark tasks, as well as real-world challenging tasks such as locomotion for a quadrupedal robot and robotic manipulation with a dexterous hand. With these improvements, SAC achieves state-of-the-art performance, outperforming prior on-policy and off-policy methods in sample-efficiency and asymptotic performance. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving similar performance across different random seeds. These results suggest that SAC is a promising candidate for learning in real-world robotics tasks.

研究の動機と目的

• 実世界のタスクにおけるモデルフリーディープRLの高いサンプル複雑性とハイパーパラメータの脆さを克服する動機付け。
• 報酬とポリシーエントロピーを同時に最大化するオフポリシーの actor-critic フレームワークを提案。
• 個別のタスクごとのハイパーパラメータ調整を削減する自動エントロピー調整を導入。
• ベンチマーク制御タスクと現実世界のロボティクス操作・移動問題でSACを実証的に検証。

提案手法

• 確率分布ポリシーとソフトQ関数を持つオフポリシーの actor-critic アルゴリズムとしてSACを定式化。
• 正のバイアスを減らすために二つのソフトQ関数を最適化し、更新には最小値を用いる。
• 確率ポリシーを再parameterizationトリックを用いてバックプロパゲートする。
• 学習可能な温度パラメータ α を介した双対勾配更新によるエントロピー正則化目的を採用。
• オフポリシーデータ用のリプレイプールと安定性のためのターゲットネットワークを使用。
• 双対目的によりポリシーエントロピーをターゲットに合わせて自動エントロピー調整機構を提供。

実験結果

リサーチクエスチョン

• RQ1 SACは連続制御タスクで既存のオンポリシー・オフポリシー手法と比較してサンプル効率と最終性能を改善できるか。
• RQ2 自動温度調整を含む最大エントロピーの組み合わせは、タスクや乱数種を跨ってより安定した学習をもたらすか。
• RQ3 画像観測や高次元センサーを用いた現実世界のロボットタスクでSACはどのように性能を発揮するか。

主な発見

• SACは、これまでのオフポリシーおよびオンポリシー手法と比較して、サンプル効率と漸近的性能の点で最先端の性能を達成する。
• アルゴリズムは異なる乱数種間でも同様の性能を示す高い安定性を示す。
• 二つのソフトQ関数と自動エントロピー調整機構が訓練の安定性とデータ効率の向上に寄与する。
• SACは画像観測からの四足歩行移動や器用なロボット操作といった現実世界の挑戦的タスクにも確実に対応する。