[論文レビュー] Tsallis Reinforcement Learning: A Unified Framework for Maximum Entropy Reinforcement Learning

Kyungjae Lee, Sungyub Kim+3 more|arXiv (Cornell University)|Jan 31, 2019

stochastic dynamics and bifurcation参考文献 27被引用数 18

ひとこと要約

本稿では、調整可能なエントロピー指数 q を用いたTsallisエントロピーを用いて最大エントロピー強化学習を一般化する統一枠組みであるTsallis強化学習を提案する。q を制御することにより、探索と活用の動的バランスを実現し、理論的収束保証を備えたモデルフリーのアクタ・クリティック法により、MuJoCo環境で最先端の性能を達成する。

ABSTRACT

In this paper, we present a new class of Markov decision processes (MDPs), called Tsallis MDPs, with Tsallis entropy maximization, which generalizes existing maximum entropy reinforcement learning (RL). A Tsallis MDP provides a unified framework for the original RL problem and RL with various types of entropy, including the well-known standard Shannon-Gibbs (SG) entropy, using an additional real-valued parameter, called an entropic index. By controlling the entropic index, we can generate various types of entropy, including the SG entropy, and a different entropy results in a different class of the optimal policy in Tsallis MDPs. We also provide a full mathematical analysis of Tsallis MDPs, including the optimality condition, performance error bounds, and convergence. Our theoretical result enables us to use any positive entropic index in RL. To handle complex and large-scale problems, we propose a model-free actor-critic RL method using Tsallis entropy maximization. We evaluate the regularization effect of the Tsallis entropy with various values of entropic indices and show that the entropic index controls the exploration tendency of the proposed method. For a different type of RL problems, we find that a different value of the entropic index is desirable. The proposed method is evaluated using the MuJoCo simulator and achieves the state-of-the-art performance.

研究の動機と目的

• 強化学習におけるさまざまなエントロピー正則化の形式を、一つの枠組みで統一すること。
• 任意の正のエントロピー指数に対して、Tsallis MDP の理論的性質（最適性条件、誤差バウンド、収束性）を分析すること。
• 大規模かつ連続的制御問題を対象とした、Tsallisエントロピーに基づくモデルフリーのアクタ・クリティックアルゴリズムを開発すること。
• エントロピー指数 q が探索行動を制御することを実証的に検証し、サンプル効率の向上を示すこと。
• 異なる強化学習タスクに対して最適な q の値が存在することを示し、タスク固有のハイパーパramータチューニングを可能にすること。

提案手法

• Tsallisエントロピー最大化を組み込んだ、調整可能なエントロピー指数 q を持つ新しいマーカフ決定過程（Tsallis MDP）を提案する。
• Tsallisベルマン最適性方程式を導出し、任意の正の q 値に対して Tsallis方策および価値反復の最適性と収束性を確立する。
• 連続的アクション空間を対象とした再パラメータ化勾配を用いたTsallisアクタ・クリティック（TAC）アルゴリズムを開発し、q 対数に基づく方策勾配更新を採用する。
• 特に q ≥ 2 の場合に顕著な勾配爆発を防ぐために、方策密度を上限に設定する数値安定化技術を実装する。
• 安定な学習を実現するため、経験リプレイとソフト更新比 τ を用いたターゲットネットワークの更新をリプレイバッファに統合する。
• 有界な連続的アクションに対してtanhスケーリング関数を適用し、方策勾配の計算に q 対数の尤度を用いる。

実験結果

リサーチクエスチョン

• RQ1 調整可能なエントロピー指数 q を用いたTsallisエントロピーは、シャノン・ギブズエントロピーとスパースなTsallisエントロピーを含む、強化学習におけるさまざまなエントロピー正則化の形式を統一できるか？
• RQ2 エントロピー指数 q の値が、方策最適化における探索と活用のトレードオフにどのように影響するか？
• RQ3 提案されたTsallis MDPフレームワークは、すべての正の q 値に対して理論的収束性と最適性保証を維持するか？
• RQ4 Tsallisアクタ・クリティック法は、MuJoCoのような連続制御ベンチマークで最先端の性能を達成できるか？
• RQ5 タスク固有の最適な q 値が存在し、サンプル効率と最終的な性能の向上に寄与するか？

主な発見

• エントロピー指数 q が探索行動を制御する：低い q 値（例：1.2）はスパarsityとグリーディな行動を促進するが、高い q 値（例：2.0）は広範な探索を促進する。
• Hopper-v2 および Swimmer-v2 では、q = 2.0 が他の値よりもわずかに優れた性能を示し、これらのタスクでは高い探索性が利点となることが示された。
• HalfCheetah-v2 および Ant-v2 では、q = 1.5 が最適な性能を達成し、歩行タスクではバランスの取れたトレードオフが最適であることが示された。
• Pusher-v2 および Humanoid-v2 では、q = 1.2 が最良の結果をもたらし、複雑な操作タスクや高次元制御ではスパースな方策がより効果的であることが示された。
• Tsallisアクタ・クリティック法は、テストされたすべてのMuJoCo環境で最先端の性能を達成し、標準的なSACや他のエントロピー正則化ベースラインを上回った。
• 密度を 10^(8/(q-1)) で上限設定する数値安定化により、特に q ≥ 2 の場合に勾配爆発が効果的に防止され、安定な学習が保証された。