[論文レビュー] Boosting Soft Actor-Critic: Emphasizing Recent Experience without Forgetting the Past

Che Wang, Keith W. Ross|arXiv (Cornell University)|Jun 10, 2019

Reinforcement Learning in Robotics参考文献 34被引用数 40

ひとこと要約

本論文は Emphasizing Recent Experience (ERE) を導入し、SAC の replay を最近のデータへバIASして再生を強化しつつ過去の経験を保持する。さらに ERE と Prioritized Experience Replay (PER) の組み合わせを検討し、Mujoco 環境で評価する。

ABSTRACT

Soft Actor-Critic (SAC) is an off-policy actor-critic deep reinforcement learning (DRL) algorithm based on maximum entropy reinforcement learning. By combining off-policy updates with an actor-critic formulation, SAC achieves state-of-the-art performance on a range of continuous-action benchmark tasks, outperforming prior on-policy and off-policy methods. The off-policy method employed by SAC samples data uniformly from past experience when performing parameter updates. We propose Emphasizing Recent Experience (ERE), a simple but powerful off-policy sampling technique, which emphasizes recently observed data while not forgetting the past. The ERE algorithm samples more aggressively from recent experience, and also orders the updates to ensure that updates from old data do not overwrite updates from new data. We compare vanilla SAC and SAC+ERE, and show that ERE is more sample efficient than vanilla SAC for continuous-action Mujoco tasks. We also consider combining SAC with Priority Experience Replay (PER), a scheme originally proposed for deep Q-learning which prioritizes the data based on temporal-difference (TD) error. We show that SAC+PER can marginally improve the sample efficiency performance of SAC, but much less so than SAC+ERE. Finally, we propose an algorithm which integrates ERE and PER and show that this hybrid algorithm can give the best results for some of the Mujoco tasks.

研究の動機と目的

• オフポリシー DRL において均一サンプリングを超える再生データのより効果的な利用の必要性を動機づける。
• 最近の遷移を優先しつつ過去のデータを保持する Emphasizing Recent Experience (ERE) を提案する。
• 連続制御タスクにおいて SAC+ERE を SAC、SAC+PER、SAC+ERE+PER と比較する。
• ERE の単純さ、計算コスト、PER に対する頑健性を評価する。
• ERE のハイパーパラメータと更新順の重要性についてガイダンスを提供する。

提案手法

• Soft Actor-Critic (SAC) とその均一リプレイを基準とするベースラインを説明する。
• SAC+ERE を導入する: 最新データからサンプルを取り、古いデータが新しい更新を上書きしないように順序付き更新スキームを用いる。
• SAC+PER を導入する: TD誤差に基づく優先度を用いて SAC に比例的 Prioritized Experience Replay を適用する。
• SAC+ERE+PER を提案する: 非均一・最近データのサンプリングと TD誤差の優先度を組み合わせる。
• 擬似コードを提供し、実装の単純さとハイパーパラメータの感度を議論する。
• 複数のシードと固定アーキテクチャで MuJoCo の連続制御タスクを評価する。

実験結果

リサーチクエスチョン

• RQ1 ERE は頑健性を損なうことなく SAC のサンプル効率を改善するか？
• RQ2 SAC における ERE と PER のパフォーマンス向上と複雑さの点でどう比較されるか？
• RQ3 ERE と PER の組み合わせ (SAC+ERE+PER) は各手法単独より追加の利点をもたらすか？
• RQ4 ERE の性能を支配する主なハイパーパラメータ（例: eta、c_min）と更新順の効果は何か？
• RQ5 ERE の観察された利得は MuJoCo 環境とシード全体で一般化可能か？

主な発見

• SAC+ERE は早期および後期の学習段階で六つの MuJoCo 環境全体でバニラ SAC を一貫して上回る。
• SAC+ERE はより高速に高い性能に到達できる（例: Ant-v2 など）で、eta 値が (0.994,0.999) 付近で比較的頑健な挙動を示し、アニーリングも適用される。
• SAC+PER はいくつかの環境で性能を向上させることがある（特に Ant-v2） が、環境間で SAC+ERE と比べて一貫して有益とは言えない。
• SAC+ERE+PER はいくつかの環境で最良の結果を得られることがあるが、計算コストが高く、SAC+ERE のみよりも単純さは劣る。
• SAC+ERE は 1.5M タイムステップで、複数の環境において種別間の性能変動が低いまたは同等で頑健性が向上していることを示している。