[論文レビュー] Leveraging exploration in off-policy algorithms via normalizing flows

Bogdan Mazoure, Thang Doan+3 more|arXiv (Cornell University)|May 16, 2019

Reinforcement Learning in Robotics参考文献 39被引用数 12

ひとこと要約

本稿では、正規化フローを用いてより洗練された多峰性ポリシーをモデル化するSoft Actor-Critic (SAC) の拡張版であるSAC-NFを提案する。これにより、オフポリシー強化学習における探索性が著しく向上する。単純なノイズ分布を可逆的な変換で変形することで、SAC-NFはMuJoCoおよびPyBullet Roboschool環境で優れた性能を達成し、標準SACと比較して最大94.5%もパラメータ数を削減した。

ABSTRACT

The ability to discover approximately optimal policies in domains with sparse rewards is crucial to applying reinforcement learning (RL) in many real-world scenarios. Approaches such as neural density models and continuous exploration (e.g., Go-Explore) have been proposed to maintain the high exploration rate necessary to find high performing and generalizable policies. Soft actor-critic(SAC) is another method for improving exploration that aims to combine efficient learning via off-policy updates while maximizing the policy entropy. In this work, we extend SAC to a richer class of probability distributions (e.g., multimodal) through normalizing flows (NF) and show that this significantly improves performance by accelerating the discovery of good policies while using much smaller policy representations. Our approach, which we call SAC-NF, is a simple, efficient,easy-to-implement modification and improvement to SAC on continuous control baselines such as MuJoCo and PyBullet Roboschool domains. Finally, SAC-NF does this while being significantly parameter efficient, using as few as 5.5% the parameters for an equivalent SAC model.

研究の動機と目的

• より洗練された多峰性ポリシー表現を可能にすることで、オフポリシー強化学習における探索性を向上させること。
• SACの単峰性ガウス型ポリシーの限界を是正すること。これは、スパarsityやだましの存在する環境で最適ポリシーの発見を妨げる可能性がある。
• パフォーマンスを維持または向上させながらポリシーネットワークのパラメータ数を削減することで、サンプル効率およびパラメータ効率を向上させること。
• 正規化フローがオフポリシーRL設定において実際に有効であるかを評価すること、特に複雑な連続制御ベンチマークにおいて。
• スパースリワードを伴う高次元制御タスクにおいて、より速い収束とより良い一般化性能を実現すること。

提案手法

• 可逆的かつ微分可能な変換を用いて複雑な多峰性行動分布をモデル化できるように、SACのポリシー部に正規化フロー (NFs) を統合する。
• プランル、ラジアル、IAFフローを用いてポリシーをパラメータ化し、表現力のある行動分布を実現するとともに、計算可能な尤度を維持する。
• 証拠下限境界 (ELBO) 原理を用いてポリシーの変分近似を最適化し、最大エントロピー強化学習と正規化フロー学習を結びつける。
• 階層的または段階的最適化を回避するため、すべてのNF層を1つの報酬信号上で同時に訓練する。
• リプレイバッファとソフトQ学習更新を用いてオフポリシー学習を維持し、フロー変換されたポリシーによりエントロピー正則化を保持する。
• 再パラメータライゼーションテクニックを用いてフローレイヤーを逆伝播可能にし、ポリシーのエンドツーエンド訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 正規化フローは、SACのようなオフポリシーRLアルゴリズムにおいて、探索性を著しく向上させることができるか？
• RQ2 正規化フローを用いて多峰性ポリシーを実現することで、スパースリワード環境における収束速度とパフォーマンスが向上するか？
• RQ3 正規化フローは、連続制御タスクにおける有効なポリシー表現に必要なパラメータ数をどの程度削減できるか？
• RQ4 SAC内での性能と効率性の観点から、ラジアル、プランル、IAFといった異なる種類の正規化フローはどのように比較されるか？
• RQ5 SAC-NFは、PyBullet Roboschoolのような現実的シミュレーションから実機への転送タスクにおいて、より優れた一般化性能を示せるか？

主な発見

• SAC-NFは6つのMuJoCo環境で最先端のパフォーマンスを達成し、全タスクで標準SACを上回った。
• SparseHumanoid-v2環境では、SAC-NFは547 ± 268のリターンを達成したのに対し、SACは88 ± 159であった。これは、スパースリワード環境下での顕著な向上を示している。
• PyBullet Roboschoolタスクでは、ラジアルフローを用いたSAC-NFがHumanoidで1755 ± 131のリターンを達成した。これに対してSACは1263 ± 290であった。これは、現実の物理環境においても一貫した向上を示している。
• Hopper-v2環境では、SAC-NFは標準SACが要するパラメータ数の5.5%（3,861 vs. 70,406）にまで削減しながら、より高いパフォーマンスを達成した。
• SAC-NFのラジアルフロー版は、ほとんどのタスクでプランルおよびIAFフローを上回る一貫性のあるパフォーマンスを示した。
• SAC-NFはより速い収束と優れたサンプル効率を達成し、複数のランダムシードにわたる学習曲線が滑らかで、ばらつきが少なかった。