[論文レビュー] #Exploration: A Study of Count-Based Exploration for Deep Reinforcement Learning

Haoran Tang, Rein Houthooft+7 more|arXiv (Cornell University)|Nov 15, 2016

Reinforcement Learning in Robotics参考文献 30被引用数 196

ひとこと要約

この論文はハッシュを用いて高次元空間へカウントベースの探索を一般化し（静的、SimHash、または学習済みハッシュコード）、連続制御とAtariのベンチマークでほぼ最先端の性能を示す。

ABSTRACT

Count-based exploration algorithms are known to perform near-optimally when used in conjunction with tabular reinforcement learning (RL) methods for solving small discrete Markov decision processes (MDPs). It is generally thought that count-based methods cannot be applied in high-dimensional state spaces, since most states will only occur once. Recent deep RL exploration strategies are able to deal with high-dimensional continuous state spaces through complex heuristics, often relying on optimism in the face of uncertainty or intrinsic motivation. In this work, we describe a surprising finding: a simple generalization of the classic count-based approach can reach near state-of-the-art performance on various high-dimensional and/or continuous deep RL benchmarks. States are mapped to hash codes, which allows to count their occurrences with a hash table. These counts are then used to compute a reward bonus according to the classic count-based exploration theory. We find that simple hash functions can achieve surprisingly good results on many challenging tasks. Furthermore, we show that a domain-dependent learned hash code may further improve these results. Detailed analysis reveals important aspects of a good hash function: 1) having appropriate granularity and 2) encoding information relevant to solving the MDP. This exploration strategy achieves near state-of-the-art performance on both continuous control tasks and Atari 2600 games, hence providing a simple yet powerful baseline for solving MDPs that require considerable exploration.

研究の動機と目的

• 高次元/連続MDPにおける探索を動機づける。
• 状態を離散カウントへ写像するハッシュを用いた、単純で高速なカウントベースの探索手法を提案。
• ハッシュベースのボーナスが多様なドメインでほぼ最先端の性能を引き出せることを示す。
• ハッシュの粒度と表現が探索の有効性に与える影響を分析。

提案手法

• φ: S → Z というハッシュ関数で状態空間を離散化し、ボーナス r+ (s) = β / sqrt(n(φ(s))) を加える。
• 局所感度ハッシュ（LSH）として SimHash のような手法を用いて、連続状態から離散的な状態コードを得る。
• 学習済みハッシュバリアントでは、状態からバイナリハッシュコードを生成するオートエンコーダを訓練し、次に SimHash を適用して有限のコード空間へ射影する。
• 状態に遭遇するにつれてハッシュ表のカウント n(φ(s)) を更新し、強化学習の最適化中にボーナスを報酬に付加する。
• 基礎RLアルゴリズムとしてTRPOを用いて、連続制御とAtari 2600ベンチマークでの性能を評価する。
• ハッシュの粒度設計とMDPに対する符号化情報の関連性について議論する。

実験結果

リサーチクエスチョン

• RQ1 カウントベースの探索をハッシュ化することで、さまざまな深層RL領域で性能を向上させることができるか。
• RQ2 静的ハッシュコードと学習済みハッシュコードは、画像ベースの観測に対して探索性能にどのような影響を与えるか。
• RQ3 効果的な探索につながるハッシュ関数の要因（粒度、情報量）は何か。
• RQ4 提案手法は連続制御とAtariベンチマークにおいて、最先端の深層RL探索戦略と比較してどの程度の性能か。

主な発見

• SimHash を用いたハッシュベースの探索は、高次元または連続状態空間を持ついくつかの深層RLベンチマークでほぼ最先端の性能を達成。
• 静的ハッシュは、連続制御タスクとAtariゲーム全般で効果的な探索を可能にし、いくつかのスパース報酬シナリオで基準TRPOを上回る。
• AE-SimHashによる学習済みハッシュとドメイン前処理入力（BASS、ピクセル-SimHash）は、モンテズマの復讐、 Gravitar、 Venture など難易度の高いゲームで顕著な改善をもたらす。
• このアプローチは、既存のRLアルゴリズムを補完するシンプルで高速な基準を提供し、複雑な観測空間へスケールする。
• ハッシュの粒度とMDPへの符号化情報の関連性は、効果的な探索にとって重要である。