[論文レビュー] Deep Curiosity Search: Intra-Life Exploration Can Improve Performance on Challenging Deep Reinforcement Learning Problems

Christopher Stanton, Jeff Clune|arXiv (Cornell University)|Jun 1, 2018

Reinforcement Learning in Robotics参考文献 31被引用数 19

ひとこと要約

この論文では、深層強化学習における探索を向上させるために、過去の全訓練エピソードにわたるnovelty（新奇性）に依存するのではなく、各エピソード内でのnovelty（新奇性）に注目する、Deep Curiosity Search（DeepCS）と呼ばれる新しい深層強化学習アルゴリズムを紹介する。DeepCSは、Montezuma’s Revengeで最先端の性能を達成し、SeaquestではA2Cの性能を倍増させ、1回の実行で80,000点を達成するなど、いくつかのAtariゲームでも顕著な性能向上を示した。

ABSTRACT

Traditional exploration methods in RL require agents to perform random actions to find rewards. But these approaches struggle on sparse-reward domains like Montezuma's Revenge where the probability that any random action sequence leads to reward is extremely low. Recent algorithms have performed well on such tasks by encouraging agents to visit new states or perform new actions in relation to all prior training episodes (which we call across-training novelty). But such algorithms do not consider whether an agent exhibits intra-life novelty: doing something new within the current episode, regardless of whether those behaviors have been performed in previous episodes. We hypothesize that across-training novelty might discourage agents from revisiting initially non-rewarding states that could become important stepping stones later in training. We introduce Deep Curiosity Search (DeepCS), which encourages intra-life exploration by rewarding agents for visiting as many different states as possible within each episode, and show that DeepCS matches the performance of current state-of-the-art methods on Montezuma's Revenge. We further show that DeepCS improves exploration on Amidar, Freeway, Gravitar, and Tutankham (many of which are hard exploration games). Surprisingly, DeepCS doubles A2C performance on Seaquest, a game we would not have expected to benefit from intra-life exploration because the arena is small and already easily navigated by naive exploration techniques. In one run, DeepCS achieves a maximum training score of 80,000 points on Seaquest, higher than any methods other than Ape-X. The strong performance of DeepCS on these sparse- and dense-reward tasks suggests that encouraging intra-life novelty is an interesting, new approach for improving performance in Deep RL and motivates further research into hybridizing across-training and intra-life exploration methods.

研究の動機と目的

• 従来の探索手法が訓練履歴全体にわたる新奇性にのみ焦点を当てており、初期には報酬が得られず後に価値のある状態を再訪問するのを妨げがちであるという限界を是正すること。
• 1つのエピソード内での新奇性（エピソード内新奇性）を促進することで、困難な深層強化学習環境における学習効率と最終的性能が向上するかを調査すること。
• エピソード内探索が、単純な探索がすでに有効な密度報酬ゲームにも利益をもたらすかを評価すること。
• 記憶メカニズムとしてのcuriosity grid（好奇心グリッド）が性能向上に寄与するか、また強力な結果を得るために必須であるかを特定すること。
• エピソード内新奇性と訓練履歴全体の新奇性を組み合わせることで、深層強化学習における探索がどのように改善されるかを探索すること。

提案手法

• DeepCSは、現在のエピソード内で訪問された一意な状態の数を測定する、curiosityに基づく内発的報酬を導入し、エージェントがその一生の間で新しい状態を探索するよう励ます。
• 内発的報酬は、現在のエピソード内で遭遇した異なる状態の数に依存する関数として計算され、以前に見たことのない状態を訪問した場合に高い報酬が与えられる。
• この内発的報酬信号は、標準的な深層強化学習フレームワーク（例：A2C や PPO）における方策更新プロセスに統合され、外発的スパース報酬信号と組み合わされる。
• エージェントの位置はRAMまたは学習された埋め込みから得られ、状態の独自性を定義するためのメモリ機構としてcuriosity gridが使用される。
• 本手法は、Montezuma’s Revenge、Seaquest、Amidar を含む、Atari 57ゲームのスイートに対して、標準的な深層強化学習訓練プロトコルに従って評価された。
• A2C、A3C、DQN および最先端の内発的報酬手法（例：pseudo-counts（PC）や PCn）といったベースライン手法と比較された。

実験結果

リサーチクエスチョン

• RQ1 エピソード内新奇性（1つのエピソード内で新しい状態を探索すること）は、従来の訓練履歴全体の新奇性に依存する手法と比較して、困難な深層強化学習タスクにおける性能向上に寄与するか？
• RQ2 エピソード内探索は、単純な探索がすでに有効な密度報酬ゲーム（例：Seaquest）においても利点をもたらすか？
• RQ3 DeepCSが強力な性能を達成するために、curiosity grid は必須であるか、それとも過去の状態を明示的に記憶しなくても同様の結果が得られるか？
• RQ4 エピソード内新奇性と訓練履歴全体の新奇性を組み合わせることで、より良い全体的な探索と学習効率が得られるか？
• RQ5 スパース報酬のAtariゲームにおいて、DeepCSはpseudo-counts などの最先端の内発的報酬手法と比較してどのように性能を発揮するか？

主な発見

• DeepCSは、Montezuma’s Revenge において、訓練履歴全体の新奇性に依存する最先端の手法（PC や PCn）と同等の性能を達成し、中央値スコアが同程度であった。1回の実行で6,600点を達成した。
• Seaquest では、A2C の性能を倍増させ、1回の実行で最大80,000点を記録した。Ape-X を除くすべての手法を上回った。
• Amidar、Freeway、Gravitar、Tutankham において、DeepCSは単純な探索やベースラインの内発的報酬手法を大きく上回る性能を示した。
• curiosity grid は性能向上に寄与するが、必須ではない。DeepCSはグリッドなしでも強力な結果を達成しており、メモリ設計に対して頑健であることが示された。
• アルゴリズムは、エピソード内新奇性が密度報酬環境でも有効であることを示しており、このような手法がスパース報酬環境でのみ有効であるという仮定に疑問を呈する。
• 両者の新奇性（エピソード内と訓練履歴全体）を組み合わせることでさらなる性能向上が得られるとの結果が示唆され、探索の課題の異なる側面をカバーする可能性がある。