[論文レビュー] Meta-SAC: Auto-tune the Entropy Temperature of Soft Actor-Critic via Metagradient

Yufei Wang, Tianwei Ni|arXiv (Cornell University)|Jul 3, 2020

Reinforcement Learning in Robotics参考文献 22被引用数 18

ひとこと要約

本論文は、追加の自己適応ハイパーパrameterを導入せずに、Soft Actor-Critic (SAC) のエントロピー温度を自動的にチューニングするメタ勾配に基づく手法 Meta-SAC を提案する。標準強化学習の報酬と整合する新しいメタ目的関数を最適化することで、Meta-SAC は困難な Mujoco タスクにおいて最先端の性能を達成し、特に人間型ロボットの humanoid-v2 環境では SAC-v2 よりも 10% 以上優れた結果を示した。

ABSTRACT

Exploration-exploitation dilemma has long been a crucial issue in reinforcement learning. In this paper, we propose a new approach to automatically balance between these two. Our method is built upon the Soft Actor-Critic (SAC) algorithm, which uses an "entropy temperature" that balances the original task reward and the policy entropy, and hence controls the trade-off between exploitation and exploration. It is empirically shown that SAC is very sensitive to this hyperparameter, and the follow-up work (SAC-v2), which uses constrained optimization for automatic adjustment, has some limitations. The core of our method, namely Meta-SAC, is to use metagradient along with a novel meta objective to automatically tune the entropy temperature in SAC. We show that Meta-SAC achieves promising performances on several of the Mujoco benchmarking tasks, and outperforms SAC-v2 over 10% in one of the most challenging tasks, humanoid-v2.

研究の動機と目的

• エントロピー温度ハイパーパrameterに敏感な SAC の問題を解決し、探索と活用のバランスを最適化する。
• SAC-v2 が α の自動適応を実装しているにもかかわらず、ターゲットエントロピーのハイパーパrameterをチューニングする必要があるという制限を克服する。
• 新たな自己適応ハイパーパrameterを導入せずに、学習中にエントロピー温度 α を自動的に適応させる手法を開発する。
• 標準強化学習の評価指標と整合するメタ目的関数を設計し、学習効率と最終的な性能を向上させる。

提案手法

• 学習プロセスを逆伝播することで、新しいメタ損失を最小化するようにメタ勾配を用いてエントロピー温度 α を最適化する。
• メタ損失を、1回のポリシー更新後のポリシーの期待報酬として定義し、標準強化学習の目的関数と評価指標と整合させる。
• 合成微分則を用いて、メタ損失の α に関する勾配を導出し、SAC 学習中に α をエンドツーエンドで最適化可能にする。
• Q値ネットワークの出力に対して α で微分しないことで数値的不安定性を回避し、代わりにポリシー勾配更新に依存する。
• メタ勾配更新を SAC アルゴリズムに統合し、各学習ステップで計算された勾配を用いて α を更新する。
• 環境での実際の性能を反映する微分可能なメタ目的関数を用いることで、サンプル効率と安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 メタ勾配アプローチは、追加の自己適応ハイパーパrameterを導入せずに、SAC のエントロピー温度 α を自動的にチューニングできるか？
• RQ2 訓練過程における Meta-SAC と SAC-v2 の α の変化はどのように異なるか？これは探索と活用のトレードオフにどのような含意を持つのか？
• RQ3 標準強化学習の報酬と整合する提案されたメタ目的関数は、既存の自動 α チューニング手法と比較して、より優れた最終的性能をもたらすか？
• RQ4 Meta-SAC は、特に高次元状態空間を持つような困難な Mujoco エンターテインメント（例：humanoid-v2）でどのように性能を発揮するか？

主な発見

• Meta-SAC は、困難な humanoid-v2 環境において、SAC-v2 よりも最終報酬で 10% 以上優れた性能を示し、複雑なタスクにおける優れた性能を実証した。
• より簡単な Mujoco タスク（Ant-v2, Hopper-v2, Walker2d-v2）では、Meta-SAC は SAC-v2 と同等の性能を達成し、グリッドサーチでチューニングされた α を用いた SAC-v1 よりわずかに劣る結果となった。
• Meta-SAC のエントロピー温度 α は時間経過とともに著しく減少し、後期の学習段階でほぼゼロに近づくことが示された。これは、探索から活用へのシフトを示している。
• それに対して、SAC-v2 の α は初期学習段階以降ほとんど変化せず、学習進行に応じた動的適応が限定的であることが示された。
• Meta-SAC の α の動的適応は、特に高次元制御タスクにおいて、サンプル効率の向上と高速収束と相関していた。
• アブレーションスタディの結果、提案されたメタ目的関数は代替形式よりも効果的であり、強化学習ベンチマークで実際に使用される評価指標とよりよく整合していることが確認された。