[論文レビュー] Understanding the impact of entropy in policy learning

Zafarali Ahmed, Nicolas Le Roux+2 more|arXiv (Cornell University)|Nov 27, 2018

Reinforcement Learning in Robotics被引用数 3

ひとこと要約

本論文は、勾配に基づく摂動を用いて損失関数の幾何構造を分析することで、自己エントロピー正則化が強化学習における方策最適化に与える影響を調査する。高いエントロピーが最適化の流れを滑らかにし、局所最適解の接続性を低下させ、より大きな学習率の使用を可能にすることを示している。エントロピーは、訓練の安定性と収束性を向上させる重要な正則化因子であることが明らかになった。

ABSTRACT

Entropy regularization is commonly used to improve policy optimization in reinforcement learning. It is believed to help with \emph{exploration} by encouraging the selection of more stochastic policies. In this work, we analyze this claim using new visualizations of the optimization landscape based on randomly perturbing the loss function. We first show that even with access to the exact gradient, policy optimization is difficult due to the geometry of the objective function. Then, we qualitatively show that in some environments, a policy with higher entropy can make the optimization landscape smoother, thereby connecting local optima and enabling the use of larger learning rates. This paper presents new tools for understanding the optimization landscape, shows that policy entropy serves as a regularizer, and highlights the challenge of designing general-purpose policy optimization algorithms.

研究の動機と目的

• エントロピーが単なる探索のためのものであるという理解を超えて、方策最適化における役割を調査すること。
• 摂動を加えた勾配を用いて、方策最適化の損失関数の幾何的構造を分析すること。
• エントロピー正則化が損失関数の表面を滑らかにすることで最適化が改善されるかどうかを特定すること。
• 方策勾配の最適化ダイナミクスを可視化し理解するためのツールを開発すること。
• 従来のエントロピーが単に探索のためのものであるという理解を検証・見直すこと。

提案手法

• 著者らは、方策勾配のランダムな摂動に基づく、損失関数の形状をマップするための新規な可視化技術を導入する。
• さまざまなエントロピー水準における局所最適解の曲率と接続性を分析する。
• 勾配に基づく摂動を用いて、エントロピーが目的関数の滑らかさに与える影響を評価する。
• 異なるエントロピー水準における最適化軌道と収束行動を比較分析する。
• 本手法により、エントロピーが損失関数の幾何的構造に与える影響を定性的かつ定量的に評価可能となる。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化は、方策最適化の損失関数の幾何的構造にどのように影響を与えるか？
• RQ2 高いエントロピーは、最適化を容易にする滑らかでより接続性の高い損失関数の表面をもたらすか？
• RQ3 エントロピー正則化により、損失関数の鋭さが低下することで、より大きな学習率の使用が可能になるか？
• RQ4 エントロピーの主な利点が、探索ではなく最適化ダイナミクスの改善にあるとすれば、その程度はどの程度か？
• RQ5 エントロピーが、目的関数の表面を滑らかにすることで正則化として機能する程度はどの程度か？

主な発見

• エントロピー正則化は、方策最適化の損失関数の形状を滑らかにし、鋭さを低減するとともに、局所最適解間の接続性を向上させる。
• 正確な勾配が与えられても、目的関数の固有の幾何的複雑性のため、方策最適化は依然として困難である。
• 高いエントロピーのポリシーでは、最適化の不安定性を軽減することで、より大きな学習率の使用が可能になる。
• エントロピーによる改善は、探索によるものではなく、損失関数の表面の有益な幾何的性質に起因する。
• エントロピーは、最適化の流れを単純化することで、勾配ベースの手法に適した損失関数の形状へと変化させる正則化因子として機能する。
• 提案された可視化手法により、従来は見えにくかった方策最適化の構造的性質が明らかになり、訓練ダイナミクスのより深い分析が可能になった。