[論文レビュー] A Regularized Approach to Sparse Optimal Policy in Reinforcement Learning

Xiang Li, Wenhao Yang+1 more|arXiv (Cornell University)|Mar 2, 2019

Reinforcement Learning in Robotics参考文献 40被引用数 9

ひとこと要約

本稿では、強化学習におけるスパースでマルチモーダルな方策の誘導を可能にする、一般化された正則化付きマルコフ決定過程（MDP）フレームワークを提案する。柔軟な正則化項を導入することで、方策のスパarsityを制御可能となり、高次元の行動空間において性能が向上する。実験的検証により、オフポリシーのアクタ・クリティックアルゴリズムを用いた離散的および連続的環境において、優れた安定性とスパarsity制御が得られることを示している。

ABSTRACT

We propose and study a general framework for regularized Markov decision processes (MDPs) where the goal is to find an optimal policy that maximizes the expected discounted total reward plus a policy regularization term. The extant entropy-regularized MDPs can be cast into our framework. Moreover, under our framework, many regularization terms can bring multi-modality and sparsity, which are potentially useful in reinforcement learning. In particular, we present sufficient and necessary conditions that induce a sparse optimal policy. We also conduct a full mathematical analysis of the proposed regularized MDPs, including the optimality condition, performance error, and sparseness control. We provide a generic method to devise regularization forms and propose off-policy actor critic algorithms in complex environment settings. We empirically analyze the numerical properties of optimal policies and compare the performance of different sparse regularization forms in discrete and continuous environments.

研究の動機と目的

• 従来のエントロピー正則化を超えて、スパースかつマルチモーダルな最適方策をサポートする一般化された正則化付きMDPフレームワークの構築を目的とする。
• 正則化が最適方策にスパarsityを誘導するための十分かつ必要条件を同定すること。
• 正則化によって生じる性能誤差を分析し、連続的行動空間における正則化の選択を指針づけること。
• 複雑な環境に対応可能な、さまざまな正則化形式と互換性を持つオフポリシーのアクタ・クリティックアルゴリズムの設計

提案手法

• 期待割引報酬に加え、方策に関する正則化項を加えた目的関数を最大化する一般化された正則化付きMDPフレームワークを定式化する。
• 凸解析と一般化されたベルマン方程式を用いて、正則化付きMDPの最適性条件を導出する。
• スパarsityを誘導する正則化形式の構築法を汎用的に提案し、TsallisエントロピーおよびExp(x)やCos(x)といった新規形式を含む。
• 連続的制御のための再パラメータライゼーショントリックと、学習安定性のための経験リプレイを用いたオフポリシーのアクタ・クリティックアルゴリズムを開発する。
• 正則化項を方策損失関数に組み込む勾配ベースの方策更新則を採用する。
• ハイパーパrameterチューニングとアブレーションスタディを用いて、環境 across における感度と性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 どの正則化形式がMDPにおけるスパースな最適方策を誘導可能であり、そのスパarsityのための十分かつ必要条件は何か？
• RQ2 正則化係数λが学習済み方策のスパarsityおよび性能にどのように影響を与えるか？
• RQ3 提案フレームワークは、連続的制御タスクにおいて標準的エントロピー正則化と比較して、性能誤差を低減できるか？
• RQ4 離散的および連続的環境において、収束速度、安定性、最終的性能の観点から、異なる正則化形式はどのように比較されるか？
• RQ5 本フレームワークは、サンプル効率や安全性を損なわずに、マルチモーダル行動をどの程度サポートできるか？

主な発見

• 提案フレームワークはエントロピー正則化RLを一般化し、Tsallisエントロピーを特別なケースとして含み、エントロピー指数を用いたスパarsity誘導が可能である。
• Tsallis、Exp(x)、Cos(x)などの正則化形式はスパarsityを誘導し、正則化係数λの調整によりスパarsityの度合いを制御可能である。
• TsallisおよびExp(x)正則化はシャノンエントロピーと比較して低い性能誤差を示し、正則化された最適値が真の最適値に近づく。
• 連続的制御タスク（MuJoCo）において、TsallisおよびExp(x)正則化はシャノンエントロピーと比較してλの変動に対してより感受性が低く、高λ値では収束に失敗するシャノンエントロピーとは対照的である。
• AtariおよびMuJoCo環境における実験結果から、TsallisやExp(x)といったスパース正則化器は、標準的エントロピー正則化と比較して安定した学習と優れたサンプル効率を達成している。