[論文レビュー] The Optimal Reward Baseline for Gradient-Based Reinforcement Learning

Lex Weaver, Nigel Tao|arXiv (Cornell University)|Jan 10, 2013

Reinforcement Learning in Robotics参考文献 12被引用数 164

ひとこと要約

本稿では、バイアスを導入せずに方策勾配の分散を最小化する最適な定数報酬ベースラインを提案する。ベースラインを現在の方策下での長期的平均期待報酬に等しく設定することで、勾配推定器の分散を著しく低減でき、標準ベンチマーク上での実験により、サンプル効率および収束速度の向上が確認された。

ABSTRACT

There exist a number of reinforcement learning algorithms which learnby climbing the gradient of expected reward. Their long-runconvergence has been proved, even in partially observableenvironments with non-deterministic actions, and without the need fora system model. However, the variance of the gradient estimator hasbeen found to be a significant practical problem. Recent approacheshave discounted future rewards, introducing a bias-variance trade-offinto the gradient estimate. We incorporate a reward baseline into thelearning system, and show that it affects variance without introducingfurther bias. In particular, as we approach the zero-bias,high-variance parameterization, the optimal (or variance minimizing)constant reward baseline is equal to the long-term average expectedreward. Modified policy-gradient algorithms are presented, and anumber of experiments demonstrate their improvement over previous work.

研究の動機と目的

• 安定した強化学習エージェントの学習を妨げる主な要因である、方策勾配推定器の高い分散を低減すること。
• バイアスを保ちながら勾配推定の分散を最小化する報酬ベースラインを同定すること。
• 最適なベースラインが現在の方策下での長期的平均期待報酬に等しいことを示すこと。
• 最適なベースラインを組み込んだ修正された方策勾配アルゴリズムの開発と評価すること。
• 表形式および関数近似の両設定において、サンプル効率と収束速度の向上を図ること。

提案手法

• 勾配推定器の分散低減を目的に、方策勾配の目的関数に定数報酬ベースラインを導入する。
• 現在の方策下での長期的平均期待報酬に等しい最適なベースラインを導出することで、分散を最小化する。
• 方策勾配定理を用いて、このベースラインが期待勾配にバイアスを加えないことを示す。
• REINFORCE with baseline などの修正された方策勾配アルゴリズムにベースラインを適用する。
• ベースラインを、収益のランニング平均を用いて更新する勾配ベースの更新ルールを採用する。
• グリッドワールドおよびマウンテンカ環境において、表形式および関数近似の両方のポリシーを用いて、実験により手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 バイアスを導入せずに方策勾配推定器の分散を最小化する定数報酬ベースラインは何か？
• RQ2 最適なベースラインは、現在の方策下での長期的平均期待報酬とどのように関係しているか？
• RQ3 最適なベースラインを組み込むことで、方策勾配法におけるサンプル効率と収束速度が向上するか？
• RQ4 最適なベースラインは、異なる環境やポリシー表現の両方で有効に機能するか？
• RQ5 最適なベースラインによる分散低減は、状態依存ベースラインやベースレスの戦略と比較してどのように異なるか？

主な発見

• 分散を最小化する最適な定数報酬ベースラインは、現在の方策下での長期的平均期待報酬に等しい。
• このベースラインを組み込むことで、勾配の分散が著しく低減され、表形式および関数近似の両設定において収束が速くなり、サンプル効率が向上する。
• ベースラインが期待勾配に影響を与えないため、バイアスのない学習が維持され、理論的な収束保証が保たれる。
• グリッドワールドおよびマウンテンカ環境における実験では、ベースレスまたは非最適なベースライン手法と比較して、学習速度と安定性の両面で一貫した改善が得られた。
• 分散低減効果は、通常学習が妨げられる高分散が顕著になる初期学習段階で特に顕著である。
• 最適なベースラインは、さまざまなポリシー表現に対して頑健であり、追加の関数近似や複雑な適合処理を必要としない。