[論文レビュー] Temporally-Extended {\epsilon}-Greedy Exploration

Will Dabney, Georg Ostrovski+1 more|arXiv (Cornell University)|Jun 2, 2020

Evolutionary Algorithms and Applications参考文献 72被引用数 13

ひとこと要約

本論文は、エージェントが行動をランダムな期間にわたり繰り返すことで、探索の持続性を向上させる時間的拡張型ϵ-グリーディ探索を提案する。この単純な修正により、アタリゲームのようなスパarsely-rewarded環境での性能が顕著に向上し、密度の高い報酬タスクでも優れた性能を維持する。また、複雑な内発的動機付け手法よりも、困難な探索タスクで優れた性能を発揮しつつ、簡単なタスクでの性能を損なわない。

ABSTRACT

Recent work on exploration in reinforcement learning (RL) has led to a series of increasingly complex solutions to the problem. This increase in complexity often comes at the expense of generality. Recent empirical studies suggest that, when applied to a broader set of domains, some sophisticated exploration methods are outperformed by simpler counterparts, such as {\\epsilon}-greedy. In this paper we propose an exploration algorithm that retains the simplicity of {\\epsilon}-greedy while reducing dithering. We build on a simple hypothesis: the main limitation of {\\epsilon}-greedy exploration is its lack of temporal persistence, which limits its ability to escape local optima. We propose a temporally extended form of {\\epsilon}-greedy that simply repeats the sampled action for a random duration. It turns out that, for many duration distributions, this suffices to improve exploration on a large set of domains. Interestingly, a class of distributions inspired by ecological models of animal foraging behaviour yields particularly strong performance.

研究の動機と目的

• 標準的なϵ-グリーディ探索の限界（時間的持続性の欠如）を解消するため、より長期間にわたり継続する探索エピソードを可能にする時間的拡張型の変種を導入すること。
• ϵ-グリーディの単純さと一般性を保ちつつ、局所最適から脱出する能力や、まれな高報酬経路を探索する能力を向上させること。
• ϵ-グリーディに最小限の修正を加え（行動をランダムな期間にわたり繰り返す）、複雑な内発的動機付け手法と同等またはそれ以上の性能を、多様な環境で達成できるかどうかを評価すること。
• 生態的採餌モデル（例：Lévy飛行）にインspiredされた期間分布が、特に優れた探索性能をもたらすかどうかを調査すること。
• この手法が、ドメイン固有のハイパーパrameterチューニングや複雑な関数近似器を必要とせず、探索効率を向上させられることを示すこと。

提案手法

• 本手法は、標準的なϵ-グリーディのステップごとのランダム行動選択を置き換え、エージェントが確率ϵで一様にランダムに行動を選択し、その後、指定された分布から抽出されたランダムな期間にわたりその行動を繰り返すプロセスを導入する。
• 期間は各探索エピソードごとに独立にサンプリングされ、同じ行動が実行される期間を決定し、その後エージェントは再びグリーディ行動に復帰する。
• 本手法は、既存のRLアルゴリズムへの単純な拡張として実装されており、アーキテクチャの変更や追加の関数近似器を必要としない。
• 期間分布は重要な設計選択であり、本論文では、動物の採餌行動にインspiredされた指数分布や重たい尾を持つ（Lévyに類似した）分布を含む複数の分布を評価している。
• 本手法は、表形式、線形、ディープRLエージェント（例：R2D2、Rainbow）のすべてに適用可能であり、すべての設定で一貫した向上が得られた。
• 本アルゴリズムは「ϵz-グリーディ」と命名され、'z'は行動繰り返しのランダムな期間を表す。

実験結果

リサーチクエスチョン

• RQ1 時間的拡張型ϵ-グリーディ探索は、スパarsely-rewardedな強化学習環境において、性能を顕著に向上させることができるか？
• RQ2 ランダムな行動繰り返しによる時間的持続性の導入は、エージェントが局所最適から脱出する能力を向上させるか？
• RQ3 異なる期間分布（例：指数分布、重たい尾を持つ分布）は、環境間での一般化性能や探索性能にどのように影響を与えるか？
• RQ4 ϵ-グリーディに最小限の修正を加えた手法が、RND や擬似カウント、Bootstrap などのより複雑な内発的動機付け手法を、困難な探索タスクのアタリゲームで上回ることができるか？
• RQ5 本手法は、スパarsely-rewarded環境での向上を実現しながら、密度の高い報酬環境でも優れた性能を維持できるか？

主な発見

• アタリ-57ベンチマークにおいて、ϵz-グリーディを用いたR2D2エージェントは中央値のヒューマンギャップが0.077を達成し、R2D2+RND（0.151）とR2D2+Bootstrap（0.096）を上回り、簡単なゲームではR2D2の性能と同等を維持した。
• 困難な探索タスクに属するアタリゲームのサブセットにおいて、ϵz-グリーディは標準的なϵ-グリーディに比べ、中央値のヒューマンギャップを24%改善した。
• R2D2エージェントにおいて、ϵz-グリーディは300億フレーム経過後にアタリ-57で中央値スコア17.77を達成し、R2D2+RND（11.14）とR2D2+Bootstrap（16.62）を上回った。
• 6つのアブレーションゲームにおいても一貫した性能向上が得られ、チェーンMDP環境で観察された結果と密接に一致した。これは、本手法の一般化可能性を裏付ける。
• 重たい尾を持つ（Lévyに類似した）期間分布の使用は、特に優れた性能をもたらした。これは、生物学的インスパイアが効果的な探索設計を導く可能性を示唆している。
• 内発的動機付け手法とは異なり、ϵz-グリーディは密度の高い報酬ゲームで顕著な性能損なわれを示さず、すべてのアタリ環境で強力な性能を維持した。