[論文レビュー] RBED: Reward Based Epsilon Decay

Aakash Maroti|arXiv (Cornell University)|Oct 30, 2019

Reinforcement Learning in Robotics参考文献 3被引用数 5

ひとこと要約

本論文では、強化学習における動的探索戦略として、報酬に基づくエプシロン減衰（RBED）を提案する。この手法は、エージェントが段階的に上昇する報酬閾値を超えた場合にのみ、ε-greedyの探索率を低下させる。固定の指数関数的減衰とは異なり、RBEDはエージェントのパフォーマンスに応じて適応するため、より安定的かつ信頼性の高い学習が可能となり、標準的な減衰法と比較して、OpenAIの CartPole-v0 を 500 エピソード以内に解決する能力が 500% 向上した。

ABSTRACT

$\varepsilon$-greedy is a policy used to balance exploration and exploitation in many reinforcement learning setting. In cases where the agent uses some on-policy algorithm to learn optimal behaviour, it makes sense for the agent to explore more initially and eventually exploit more as it approaches the target behaviour. This shift from heavy exploration to heavy exploitation can be represented as decay in the $\varepsilon$ value, where $\varepsilon$ depicts the how much an agent is allowed to explore. This paper proposes a new approach to this $\varepsilon$ decay where the decay is based on feedback from the environment. This paper also compares and contrasts one such approach based on rewards and compares it against standard exponential decay. The new approach, in the environments tested, produces more consistent results that on average perform better.

研究の動機と目的

• 固定のスケジュールに基づくε減衰の限界を是正すること。これは、実際のエージェントのパフォーマンスや学習進行度を考慮しない。
• エキスパートによるハイパーパrameterチューニングに依存するのを減らすこと。ε減衰を環境フィードバックとエージェントの成果に依存させる。
• エージェントの測定可能な進行を示した場合にのみ探索を減衰させることで、学習の安定性と再現性を向上させること。
• エピソード数ではなくパフォーマンスに基づいて、学習速度が異なるエージェントが類似した水準の活用に到達できるようにすること。

提案手法

• 報酬閾値を導入し、初期値を低く設定。エージェントが閾値を超えると、その値が段階的に上昇し、εの低下が引き起こされる。
• 各閾値通過時に固定ステップサイズでεを減衰させる。計算式は (initial_ε - minimum_ε) / total_steps_to_target であり、滑らかな減衰を保証する。
• 減衰メカニズムをエピソード数から分離し、累積報酬のパフォーマンスに依存させる。これにより、エージェントの能力に応じた適応が可能になる。
• フィードバックループを採用：直近のエピソードの報酬が現在の閾値に達するかそれを上回れば、εを減少させ、閾値を引き上げる。
• この手法は、CartPole-v0環境におけるニューラルエピソードコントローラーおよびDQNエージェントの両方へ適用されている。
• 標準的な指数関数的減衰（ε *= decay_rate）の代わりに、報酬閾値に基づくパフォーマンス駆動の更新ルールを導入する。

実験結果

リサーチクエスチョン

• RQ1 報酬に基づくε減衰戦略は、固定の指数関数的減衰と比較して、強化学習における学習の安定性と解決の信頼性を向上させることができるか？
• RQ2 ε減衰をエピソード数から切り離し、実際のエージェントパフォーマンスに基づくことで、学習速度が異なるエージェント間での一般化が向上するか？
• RQ3 RBEDは、ε-greedy探索戦略におけるエキスパートによるハイパーパrameterチューニングの必要性をどの程度低減できるか？
• RQ4 CartPole-v0環境において、RBEDは指数関数的減衰と比較して収束速度と最終パフォーマンスで優れているか？
• RQ5 パフォーマンスに基づく減衰は、複数回のトレーニング実行においてより一貫性があり再現性の高い結果をもたらすか？

主な発見

• ニューラルエピソードコントローラーを用いた場合、RBEDは標準的な指数関数的減衰と比較して、500 エピソード以内に CartPole-v0 を解決する能力が 500% 以上向上した。
• 指数関数的減衰は初期にピーク報酬に到達したが、高いパフォーマンスを維持できず、環境を解消することはほとんどなかった。これに対してRBEDは優れた性能を示した。
• RBEDはより安定的で一貫性のある学習曲線を生成し、環境を解消するために必要な 195 点の閾値に到達する可能性が高かった。
• DQNベースのトレーニングでは、RBEDが平均報酬の最後の 100 エピソードを含むすべての指標で指数関数的減衰を上回った。
• 最後の 100 エピソードの平均報酬は、RBED下で解決に到達する方向へのより強い長期的トレンドを示しており、安定したパフォーマンスの達成が確認された。
• RBEDにおけるε減衰曲線は、固定の指数関数的減衰と比較して、はるかに適応的かつパフォーマンス駆動的であり、急激な低下が少なかった。