[論文レビュー] Benchmarking Bonus-Based Exploration Methods on the Arcade Learning Environment

Adrien Ali Taïga, William Fedus+3 more|arXiv (Cornell University)|Aug 6, 2019

Reinforcement Learning in Robotics参考文献 26被引用数 21

ひとこと要約

この論文は、固定された強化学習エージェント（Rainbow）と2億フレームの学習フレームを用いて、アーケード・ラーニング環境（Arcade Learning Environment）における報酬ベース探索手法をベンチマークした。最近の探索ボーナスは、モンテズマのレインボー（Montezuma’s Revenge）やその他の困難な探索ゲームでは、ほとんどもしくはまったく性能向上をもたらさず、しばしば単純なε-greedy探索に劣り、簡単なゲームでは性能を損なうこともある。これは、現在の手法が頑健性と一般化能力に欠けていることを示唆している。

ABSTRACT

This paper provides an empirical evaluation of recently developed exploration algorithms within the Arcade Learning Environment (ALE). We study the use of different reward bonuses that incentives exploration in reinforcement learning. We do so by fixing the learning algorithm used and focusing only on the impact of the different exploration bonuses in the agent's performance. We use Rainbow, the state-of-the-art algorithm for value-based agents, and focus on some of the bonuses proposed in the last few years. We consider the impact these algorithms have on performance within the popular game Montezuma's Revenge which has gathered a lot of interest from the exploration community, across the the set of seven games identified by Bellemare et al. (2016) as challenging for exploration, and easier games where exploration is not an issue. We find that, in our setting, recently developed bonuses do not provide significantly improved performance on Montezuma's Revenge or hard exploration games. We also find that existing bonus-based methods may negatively impact performance on games in which exploration is not an issue and may even perform worse than $ε$-greedy exploration.

研究の動機と目的

• 標準化された条件下で最近のボーナスベース探索手法を公平に評価すること。
• 学習アルゴリズム（Rainbow）と学習期間（2億フレーム）を固定することで、探索ボーナスの影響を分離すること。
• モンテズマのレインボーでの性能が、他の困難な探索ゲームや簡単なアーケードゲームに一般化するかを評価すること。
• 複雑な探索ボーナスが困難な環境で高い性能を発揮するために必要であるという仮定に疑問を呈すること。

提案手法

• 研究では、ベースエージェントとしてRainbowを用い、同じアーケード2600ゲームのセットに対して、擬似カウント（CTSおよびPixelCNNを併用）、ICM、RNDといったさまざまな内部ボーナス手法を適用した。
• 各手法は、内在的報酬信号 $ i_t $ を計算し、環境報酬 $ e_t $ と組み合わせて $ r_t = e_t + \beta \cdot i_t $ の形で報酬を生成する。ここで $ \beta $ はスケーリングのハイパーパrameterである。
• 擬似カウントは、密度モデル（CTSまたはPixelCNN）を用い、予測の向上量 $ \text{PG}_t(s) $ を状態の新規性を推定する指標として用いる。
• ICMは、学習された特徴埋め込みを用い、逆モデルと順方向モデルの予測誤差を内在的報酬として計算する。
• RNDは、ランダムなニューラルネットワークを用いて現在の状態の表現を予測し、予測誤差に基づいて内在的報酬を計算する。
• すべての手法は、ベルマールら（2016）の困難な探索セットと簡単なゲームを含む26のアーケード2600ゲームで評価され、5つの異なるランダムシードでの平均結果が得られた。

実験結果

リサーチクエスチョン

• RQ1 Rainbowと2億フレームの学習条件下で、ボーナスベース探索手法はモンテズマのレインボーでどの程度の性能を示すか？
• RQ2 モンテズマのレインボーで良好な性能を示す手法は、ベルマールら（2016）のベンチマークに含まれる他の困難な探索ゲームにも一般化するか？
• RQ3 ボーナスベース探索手法は、探索が主な課題でない簡単なアーケードゲームで性能を向上させるか？
• RQ4 最近の探索ボーナスによる性能向上は頑健なものか。それとも、単純なε-greedy手法が依然として競争力を持つのか？

主な発見

• モンテズマのレインボーでは、学習期間とエージェントアーキテクチャを固定した状態で、最近のボーナスベース手法は、古くからの手法やε-greedy探索に比べて顕著な性能向上を示さなかった。
• ベルマールら（2016）の6つの困難な探索ゲームでは、ボーナスベース手法はε-greedy探索と同等の性能にとどまり、人間レベルの性能とは著しく低い水準であった。
• アステリックスやシークエストなどの簡単なアーケードゲームでは、擬似カウントや他のボーナス手法が常にε-greedyに劣り、一部の手法は性能を損なうこともあった。
• 内部ボーナスに依存しないNoisyNetsは、全ゲームでε-greedyやボーナスベース手法と同等またはそれを上回る性能を示し、より頑健である可能性を示唆した。
• モンテズマのレインボーにおける探索ボーナスの性能は、他の困難な探索ゲームでの性能を予測できず、環境間での一般化が著しく低いことが判明した。
• 本研究は、現在のボーナスベース探索手法が一貫して有益であるとは限らず、簡単な環境では逆に有害である可能性があると結論づけ、より頑健な探索アルゴリズムの開発が求められるとした。