[論文レビュー] Greedification Operators for Policy Optimization: Investigating Forward and Reverse KL Divergences

Alan Chan, Hugo Silva+4 more|arXiv (Cornell University)|Jul 17, 2021

Reinforcement Learning in Robotics参考文献 90被引用数 9

ひとこと要約

本稿は、近似政策反復における貪欲政策改善を、パrameterized政策と行動価値上でのボルツマン分布との間の前向きKLダイバージェンスと逆向きKLダイバージェンスの分析を通じて調査している。逆向きKLはより強い政策改善保証を提供するが、追加の仮定のもとで十分に小さくされない限り、前向きKLは性能を低下させる可能性がある。実験結果では、前向きKLはより多くの探索を促進するが、連続的制御タスクでは最適でない政策に終わることが示された。

ABSTRACT

Approximate Policy Iteration (API) algorithms alternate between (approximate) policy evaluation and (approximate) greedification. Many different approaches have been explored for approximate policy evaluation, but less is understood about approximate greedification and what choices guarantee policy improvement. In this work, we investigate approximate greedification when reducing the KL divergence between the parameterized policy and the Boltzmann distribution over action values. In particular, we investigate the difference between the forward and reverse KL divergences, with varying degrees of entropy regularization. We show that the reverse KL has stronger policy improvement guarantees, but that reducing the forward KL can result in a worse policy. We also demonstrate, however, that a large enough reduction of the forward KL can induce improvement under additional assumptions. Empirically, we show on simple continuous-action environments that the forward KL can induce more exploration, but at the cost of a more suboptimal policy. No significant differences were observed in the discrete-action setting or on a suite of benchmark problems. Throughout, we highlight that many policy gradient methods can be seen as an instance of API, with either the forward or reverse KL for the policy update, and discuss next steps for understanding and improving our policy optimization algorithms.

研究の動機と目的

• 前向きKLと逆向きKLダイバージェンスを用いた近似貪欲化の理論的・実験的意味を理解すること。
• 前向きKL低減がいつ政策改善をもたらし、いつ性能を低下させるかの条件を特定すること。
• 連続的行動環境における前向きKLと逆向きKLの探索と性能のトレードオフを比較すること。
• 政策勾配法と近似政策反復の間の関係、特にKLベースの貪欲化の文脈での関連を明確にすること。
• KLダイバージェンスに基づく貪欲化を用いた、より良い政策最適化アルゴリズムの設計に対する理論的・実験的指針を提供すること。

提案手法

• 著者たちは、近似貪欲化を、パrameterized政策と行動価値上でのボルツマン分布との間のKLダイバージェンスの最小化として形式化している。
• 政策改善の目的関数として、前向きKL（D_F）と逆向きKL（D_R）の両方を分析している。
• 理論的分析により、各ダイバージェンスが政策改善を保証する条件を導出し、逆向きKLがより強い保証を持つことが示された。
• 連続的制御環境を用いた実験評価が、パrameterized政策と価値関数近似を用いて実施された。
• エントロピー正則化の有無にかかわらず、前向きKLと逆向きKLの最小化における政策の性能と探索行動の比較がなされた。
• f-ダイバージェンスの不等式を用いて理論的境界が導出され、WassersteinやJSダイバージェンスなどの他のダイバージェンスへの拡張が可能となる。

実験結果

リサーチクエスチョン

• RQ1 パラメータ化された政策とボルツマン分布との間の前向きKLダイバージェンスを最小化することは、政策改善を保証するか？
• RQ2 政策改善の保証という観点から、逆向きKLは前向きKLと比べてどのように異なるか？
• RQ3 エントロピー正則化は、前向きKLと逆向きKLで最適化された政策の行動と性能にどのような影響を与えるか？
• RQ4 なぜ前向きKLは連続的行動タスクでより多くの探索を誘発するが、最終的な性能は悪くなるのか？
• RQ5 標準設定を超える追加の仮定のもとで、前向きKL最小化は依然として政策改善をもたらすのか？

主な発見

• 逆向きKL最小化は、標準的な仮定のもとで、単調な改善を保証するより強い理論的保証を提供する。
• 前向きKL最小化は、低エントロピーで劣化した行動に政策を押し込む可能性があるため、政策の劣化を引き起こすことがある。
• 前向きKLが十分に小さくなる場合、追加の仮定（例：行動価値推定が有界である）のもとで依然として政策改善が達成可能である。
• 連続的行動環境では、前向きKLはより多くの探索を誘発するが、逆向きKLに比べて顕著に悪い最終的な政策性能を示す。
• 離散的行動設定や標準的なベンチマーク環境では、前向きKLと逆向きKLの間で顕著な性能差は観察されなかった。
• 理論的分析から、逆向きKLのより強い改善保証は、政策とターゲット分布のサポートの不一致に敏感であることに起因することが示唆された。