[論文レビュー] On Bonus-Based Exploration Methods in the Arcade Learning Environment

Adrien Ali Taïga, William Fedus+3 more|arXiv (Cornell University)|Sep 22, 2021

Artificial Intelligence in Games参考文献 26被引用数 8

ひとこと要約

この論文は、アタリ2600ゲームにおけるRainbowを用いた統一的なフレームワーク内で、ボーナスベース探索手法（RND、ICM、CTS-counts、PixelCNN-counts）を評価している。これらの手法は、難易度の高い探索ゲームであるMontezuma's Revengeでは性能向上を示すが、より簡単なゲームでは単純なϵ-greedy探索を上回らない。Montezuma's Revengeにおける性能向上は、探索自体の改善よりも、アーキテクチャの進歩に起因する可能性が示唆される。

ABSTRACT

Research on exploration in reinforcement learning, as applied to Atari 2600 game-playing, has emphasized tackling difficult exploration problems such as Montezuma's Revenge (Bellemare et al., 2016). Recently, bonus-based exploration methods, which explore by augmenting the environment reward, have reached above-human average performance on such domains. In this paper we reassess popular bonus-based exploration methods within a common evaluation framework. We combine Rainbow (Hessel et al., 2018) with different exploration bonuses and evaluate its performance on Montezuma's Revenge, Bellemare et al.'s set of hard of exploration games with sparse rewards, and the whole Atari 2600 suite. We find that while exploration bonuses lead to higher score on Montezuma's Revenge they do not provide meaningful gains over the simpler $\epsilon$-greedy scheme. In fact, we find that methods that perform best on that game often underperform $\epsilon$-greedy on easy exploration Atari 2600 games. We find that our conclusions remain valid even when hyperparameters are tuned for these easy-exploration games. Finally, we find that none of the methods surveyed benefit from additional training samples (1 billion frames, versus Rainbow's 200 million) on Bellemare et al.'s hard exploration games. Our results suggest that recent gains in Montezuma's Revenge may be better attributed to architecture change, rather than better exploration schemes; and that the real pace of progress in exploration research for Atari 2600 games may have been obfuscated by good results on a single domain.

研究の動機と目的

• 人気の高いボーナスベース探索手法を統一的な評価フレームワーク内で系統立てて比較すること。
• 最近の探索ボーナスが、多様なアタリ2600環境において一貫した性能向上をもたらすかどうかを評価すること。
• Montezuma's Revengeでハイパーパrameterを最適化すると、より簡単なゲームでの性能が劣化するかどうかを調査すること。
• 10億フレームにまで拡張されたトレーニングデータが、報酬が疎な環境における探索性能に与える影響を評価すること。
• 探索研究における観察された進歩が、本当により良い探索に起因するのか、それともアーキテクチャの変更や単一ゲーム評価バイアスによって歪められているのかを特定すること。

提案手法

• 著者たちは、ベースエージェントとしてRainbowエージェントを用い、さまざまな探索ボーナスを適用した：RND（ランダムネットワーク分散）、ICM（内因的好奇心モジュール）、CTS-counts（ニューラルネットワークを用いたカウントベース探索）、PixelCNN-counts。
• すべての手法は同じトレーニング設定で評価された：全アタリ2600スイートで2億フレーム、難易度の高い探索ゲームでは10億フレームにまで延長された。
• 評価フレームワークには、Bellemareらの7つの難易度の高い探索ゲーム（例：Montezuma's Revenge、Private Eye）と、全60ゲームのアタリスイートが含まれる。
• ハイパーパrameterは、Montezuma's Revengeおよび元のALEトレーニングセットの両方で最適化され、一般化性能の評価が行われた。
• 性能は、全ゲームにおける人間正規化スコアを用いて測定され、ϵ-greedyとNoisy Networksをベースラインとして比較した。
• 一貫した深層強化学習トレーニングパイプラインを用いることで、探索ボーナスの影響を他のアーキテクチャ的・トレーニング的要因とは明確に分離した。

実験結果

リサーチクエスチョン

• RQ1 ボーナスベース探索手法は、全アタリ2600スイート全体でϵ-greedyを一貫して上回るのか、それとも簡単なゲームでは性能を発揮しないのか？
• RQ2 Montezuma's Revengeで報告されたボーナスベース手法の成功は、探索手法そのものに起因するのか、それともエージェントのアーキテクチャの進歩に起因するのか？
• RQ3 Montezuma's Revengeでハイパーパrameterを最適化すると、過剰な探索行動が生じ、簡単なアタリゲームでの性能が劣化するのか？
• RQ4 トレーニングデータを2億フレームから10億フレームに増やすことで、難易度の高い探索ゲームでの性能が顕著に向上するのか？
• RQ5 Montezuma's Revengeにおける性能向上は、本当により良い探索に起因するのか、それとも評価バイアスや非標準的なトレーニングレジームに起因するものなのか？

主な発見

• Montezuma's Revengeでは、すべてのボーナスベース手法がϵ-greedyを上回り、RNDは5199.2点を記録したが、これらの向上は簡単なゲームには一般化されない。
• 全アタリ2600スイート全体では、すべてのボーナスベース手法はϵ-greedyと同等か、それ以下の性能にとどまり、唯一Noisy Networksだけが全スイートで他のすべてを上回った。
• Montezuma's Revengeでの性能は、全アタリスイート全体での性能と負の相関関係にある：Montezuma's Revengeで優れた成績を収める手法は、通常、簡単なゲームでは劣る。
• Montezuma's Revengeでハイパーパrameterを最適化すると、過剰な探索行動が生じ、簡単なゲームでの性能が劣化する。また、全ALEセットで最適化しても、ϵ-greedyを上回る性能は得られなかった。
• トレーニングデータを2億フレームから10億フレームに増やしても、Bellemareらの難易度の高い探索ゲームでは効果が得られず、これらの手法がサンプル効率を向上させないことが示唆された。
• 本研究の結論として、最近のMontezuma's Revengeにおける性能向上は、おそらく探索メカニズムの改善ではなく、アーキテクチャの変更（例：より深いネットワーク）に起因していると考えられる。