[論文レビュー] Beyond variance reduction: Understanding the true impact of baselines on policy optimization

Wesley Chung, Valentin Thomas+2 more|arXiv (Cornell University)|Aug 31, 2020

Advanced Bandit Algorithms Research参考文献 35被引用数 4

ひとこと要約

本稿では、方策最適化におけるベースラインが分散低減を超えて収束に影響することを示しており、負のベースラインは早期の方策確定を引き起こし、正のベースラインは探索を維持する。同じ勾配分散であっても、ベースラインの選択が自然方策勾配法を最適でない方策に収束させる可能性があることが示され、強化学習における標準的な最適化仮定に疑問を呈する。

ABSTRACT

Bandit and reinforcement learning (RL) problems can often be framed as optimization problems where the goal is to maximize average performance while having access only to stochastic estimates of the true gradient. Traditionally, stochastic optimization theory predicts that learning dynamics are governed by the curvature of the loss function and the noise of the gradient estimates. In this paper we demonstrate that this is not the case for bandit and RL problems. To allow our analysis to be interpreted in light of multi-step MDPs, we focus on techniques derived from stochastic optimization principles (e.g., natural policy gradient and EXP3) and we show that some standard assumptions from optimization theory are violated in these problems. We present theoretical results showing that, at least for bandit problems, curvature and noise are not sufficient to explain the learning dynamics and that seemingly innocuous choices like the baseline can determine whether an algorithm converges. These theoretical findings match our empirical evaluation, which we extend to multi-state MDPs.

研究の動機と目的

• 分散低減を超えてベースラインが方策最適化ダイナミクスに与える影響を調査すること。
• バンドイットおよびMDP設定において、曲率と勾配ノイズが学習ダイナミクスを完全に決定するとする仮定に疑問を呈すること。
• 自然方策勾配法がベースライン選択によって収束しなくなる条件を特定すること。
• オンポリシー採択が、劣悪な更新と劣化した方策の間のフィードバックループを通じて収束問題を引き起こす役割を分析すること。
• 十分な行動カバレッジを持つオフポリシー採択を提案し、確率的収束を保証すること。

提案手法

• マルチアームバンディットおよびMDP設定における確率的勾配法の理論的分析に焦点を当て、自然方策勾配法とEXP3を対象とする。
• 異なるベースライン選択下での勾配分散およびバイアスの導出を行い、最小分散ベースラインから対称的にオフセットされたベースラインでは同じ分散が得られることを示す。
• 最小分散ベースラインが任意の正のステップサイズにおいて最適でない決定的方策に収束する、3アームバンディットの反例を構築する。
• オンポリシー採択におけるベースライン依存のフィードバックループを導入し、劣悪な更新が方策品質を低下させ、それが将来の更新をさらに悪化させる悪循環を生じることを示す。
• 提案手法：均一な行動確率を用いたオフポリシー採択により、採択と方策更新を分離し、確率的収束を保証する。
• 理論的証明により、オフポリシー採択における十分な行動カバレッジが、ベースライン選択にかかわらず最適方策への確率的収束を保証することを示す。

実験結果

リサーチクエスチョン

• RQ1 ベースライン選択が勾配分散とは独立して方策最適化の収束に影響を与えることはあるか？
• RQ2 同じ勾配分散であっても、なぜ一部のベースラインは早期の方策確定を引き起こし、他のベースラインは探索を維持するのか？
• RQ3 最小分散であっても、ベースライン選択によって自然方策勾配法が最適方策に収束しなくなることはあり得るか？
• RQ4 オンポリシー採択は、収束を妨げるフィードバックループをどのように形成するのか？
• RQ5 十分な行動カバレッジを持つオフポリシー採択は、確率的収束を保証するために十分か？

主な発見

• 同じ勾配分散を持つ2つのベースラインでも、学習ダイナミクスが質的に異なる：一方は速やかに最適でない決定的方策に収束するが、他方は探索とエントロピーを維持する。
• 3アームバンディットの例により、最小分散ベースラインが任意の正のステップサイズにおいて自然方策勾配法が最適でない方策に収束することを示した。
• 標準的な仮定下で自然方策勾配法が失敗することは、バンドイットおよびMDP問題における学習ダイナミクスを説明するのに、曲率とノイズだけでは不十分であることを示唆する。
• オンポリシー採択は、劣悪な更新が悪い方策を生み出し、それがさらに悪い更新を生むという悪循環を生じさせ、収束を損なう。
• すべての行動が有界確率で採択される十分な行動カバレッジを持つオフポリシー採択は、最適方策への確率的収束を保証する。
• 理論的分析により、ベースラインが自然方策勾配推定器のバイアスに影響しないことが確認されたが、非凸性およびフィードバックダイナミクスのため、収束行動は依然としてベースライン選択に依存する。