[論文レビュー] Understanding the impact of entropy on policy optimization

Zafarali Ahmed, Nicolas Le Roux+2 more|arXiv (Cornell University)|Nov 27, 2018

Reinforcement Learning in Robotics参考文献 39被引用数 44

ひとこと要約

本論文は、エントロピー正則化が方策最適化における最適化景観をどのように形作るかを分析し、エントロピーが目的関数を滑らかにし、より大きな学習率を可能にすることを示し、その効果は環境に依存する。

ABSTRACT

Entropy regularization is commonly used to improve policy optimization in reinforcement learning. It is believed to help with \emph{exploration} by encouraging the selection of more stochastic policies. In this work, we analyze this claim using new visualizations of the optimization landscape based on randomly perturbing the loss function. We first show that even with access to the exact gradient, policy optimization is difficult due to the geometry of the objective function. Then, we qualitatively show that in some environments, a policy with higher entropy can make the optimization landscape smoother, thereby connecting local optima and enabling the use of larger learning rates. This paper presents new tools for understanding the optimization landscape, shows that policy entropy serves as a regularizer, and highlights the challenge of designing general-purpose policy optimization algorithms.

研究の動機と目的

• エントロピー正則化が目的の幾何を変えることによって、勾配ノイズ削減を超えて方策最適化に影響を与えるかを調査する。
• RL目的関数の局所幾何（勾配と曲率）を分析する視覚化ツールを開発する。
• より高い方策エントロピーが局所最適解を結びつけ、学習を促進する滑らかな景観をもたらすかを評価する。

提案手法

• 局所領域を分類するために、目的関数の幾何をランダム摂動ベースの視覚化を導入する（局所最適解、鞍点、平坦など）。
• 局所サンプルから勾配とヘッセ情報を推定するために、線形内挿とランダム方向プローブを組み合わせる。
• エントロピー強化報酬を方策勾配目的関数に適用し、最適化景観の変化を分析する。
• 勾配が正確な離散グリッドワールド環境でテストし、景観効果を勾配分散から分離する。
• Gaussianポリシーを用いた連続制御へ分析を拡張し、学習ダイナミクスと曲率に対するエントロピーの影響を研究する。
• 真の目的関数とエントロピー強化目的関数を比較し、確率的なポリシーが最適化経路にどう影響するかを理解する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化は勾配推定分散を減らす以上に、方策最適化景観の幾何を変更するのか？
• RQ2 より高いエントロピーのポリシーは目的関数を滑らかにし、局所最適解を結びつけて、より大きな学習率を可能にするか？
• RQ3 エントロピーは異なる環境で学習速度と最終的なポリシー品質にどのように影響するか？
• RQ4 エントロピーの目的関数景観への影響は環境依存か、もしそうならなぜか？
• RQ5 観察される高エントロピー・ポリシーによる改善を説明するメカニズム（例：曲率減衰）とは何か？

主な発見

• ポリシー最適化の難易度は、目的関数の幾何と強く結びついており、勾配推定ノイズだけではない。
• エントロピー正則化は目的関数を滑らかにし、局所最適解を結びつけ、いくつかの環境でより大きな学習率を可能にする。
• 決定論的なグリッドワールドでは、より高いエントロピーが改善方向を示し、平坦な領域を減らして最適化を助ける。
• 連続制御タスクでは、HopperとWalkerで学習を加速し最終性能を向上させる可能性があるが、効果は環境依存であり（HalfCheetahでは利益が顕著でない）。
• 訓練中の曲率変動は、いくつかの環境で高エントロピーにより減少し、より速く安定した最適化とより大きな学習率をサポートする。
• 高エントロピー下の最終的なポリシー景観は、負の曲率方向が少なく、より平坦な領域へ移動している可能性を示している。）