[論文レビュー] Improving Exploration in Soft-Actor-Critic with Normalizing Flows Policies

Patrick Ward, Ariella Smofsky+1 more|arXiv (Cornell University)|Jun 6, 2019

Reinforcement Learning in Robotics参考文献 17被引用数 15

ひとこと要約

この論文は、Soft Actor-Critic (SAC) における探索を改善するために、標準的な因子付きガウス方策を、再パラメータライゼーションを保ちながらより表現力があり柔軟な分布を学習する正規化フロー方策に置き換える。この手法により、スパース報酬の連続的制御タスクにおける探索が著しく高速化・効果的になり、ガウス方策や指数方策よりも優れた性能を達成する。

ABSTRACT

Deep Reinforcement Learning (DRL) algorithms for continuous action spaces are known to be brittle toward hyperparameters as well as \cut{being}sample inefficient. Soft Actor Critic (SAC) proposes an off-policy deep actor critic algorithm within the maximum entropy RL framework which offers greater stability and empirical gains. The choice of policy distribution, a factored Gaussian, is motivated by \cut{chosen due}its easy re-parametrization rather than its modeling power. We introduce Normalizing Flow policies within the SAC framework that learn more expressive classes of policies than simple factored Gaussians. \cut{We also present a series of stabilization tricks that enable effective training of these policies in the RL setting.}We show empirically on continuous grid world tasks that our approach increases stability and is better suited to difficult exploration in sparse reward settings.

研究の動機と目的

• SACにおける因子付きガウス方策の表現力の制限が、複雑な環境やスパース報酬環境における探索を制限するという問題に対処すること。
• 正規化フローでモデル化されるようなより表現力のある方策分布が、連続的制御におけるサンプル効率と学習安定性を向上させるかどうかを調査すること。
• 密度報酬およびスパース報酬のグリッドワールド環境における、異なる方策族と勾配推定器の性能への影響を評価すること。

提案手法

• SACにおける再パラメータライズドな因子付きガウス方策を、RealNVPアーキテクチャに基づく正規化フロー方策に置き換える。これにより、単純なベース分布からの柔軟で正規化可能な変換が可能になる。
• 変数変換の公式を用いて密度を扱いやすくし、パスワイズ勾配推定器による勾配計算を可能にする。
• 正規化フロー方策をSACの最大エントロピー強化学習フレームワークに統合し、オフポリシー学習とエントロピー正則化を維持する。
• 重み初期化や勾配クリッピングなどの安定化技術を適用し、強化学習におけるフローベース方策の安定した訓練を可能にする。
• SACにおけるスクーシング関数（tanh）を1層のフローとしてベースラインとして用い、表現力の向上を図るため、より深い、より複雑なフローに拡張する。
• 低分散の更新を実現するため、パスワイズ勾配推定器を用いて方策を訓練する一方で、REINFORCEや他の方策族との性能比較も行う。

実験結果

リサーチクエスチョン

• RQ1 ガウス分布、指数分布、正規化フローなど、方策分布の選択が、密度報酬およびスパース報酬環境における学習性能にどのように影響するか？
• RQ2 正規化フロー方策の文脈において、REINFORCEとパスワイズの勾配推定器の違いが、方策学習と報酬安定性に与える影響は何か？
• RQ3 スパース報酬の連続的グリッドワールドタスクにおいて、正規化フロー方策の探索行動はガウス方策とどのように異なるか？
• RQ4 標準的なガウス方策と比較して、正規化フロー方策はスパース報酬設定でより速く収束し、より高い報酬を達成できるか？
• RQ5 より表現力のある方策分布を用いることで、連続的制御タスクにおけるサンプル効率とロバスト性が向上するか？

主な発見

• スパース報酬環境では、正規化フロー方策がガウス方策や指数方策を上回り、ゴール状態に著しく早く到達する。一部の実験では、最適報酬がほぼ直ちに達成された。
• 密度報酬設定では、正規化フロー方策はガウス方策と同等の速度で最適性能に収束するため、追加コストは最小限である。
• REINFORCE勾配推定器は、すべての方策タイプにおいて高い分散を示したが、最終的な報酬はパスワイズ推定器と同等であった。
• 正規化フロー方策は、スパース報酬設定でより的確な探索を示し、ゴール付近に集中する。一方、ガウス方策は低報酬領域で非効率的な探索を繰り返す。
• 密度報酬設定では、正規化フロー方策は初期の部分ゴールを超えて過剰に探索しない。これに対してガウス方策は、非報酬領域を頻繁に訪問する。
• 方策分布の選択が性能に顕著な影響を与える。正規化フローは、密度報酬およびスパース報酬の両タスクにおいて、表現力と安定性の良好なトレードオフを提供する。