[论文解读] Deep Curiosity Search: Intra-Life Exploration Can Improve Performance on Challenging Deep Reinforcement Learning Problems

Christopher Stanton, Jeff Clune|arXiv (Cornell University)|Jun 1, 2018

Reinforcement Learning in Robotics参考文献 31被引用 19

一句话总结

本文提出了一种新型深度强化学习算法——深度好奇心搜索（Deep Curiosity Search, DeepCS），通过在每个独立训练回合内奖励智能体访问新状态（即回合内新颖性），而非仅依赖于所有历史训练回合的总体新颖性，从而增强探索能力。DeepCS在蒙特祖马的复仇（Montezuma’s Revenge）上达到当前最先进性能，并在多个其他Atari游戏中显著提升表现，包括使A2C在Seaquest上的性能翻倍，单次训练运行最高得分达80,000分。

ABSTRACT

Traditional exploration methods in RL require agents to perform random actions to find rewards. But these approaches struggle on sparse-reward domains like Montezuma's Revenge where the probability that any random action sequence leads to reward is extremely low. Recent algorithms have performed well on such tasks by encouraging agents to visit new states or perform new actions in relation to all prior training episodes (which we call across-training novelty). But such algorithms do not consider whether an agent exhibits intra-life novelty: doing something new within the current episode, regardless of whether those behaviors have been performed in previous episodes. We hypothesize that across-training novelty might discourage agents from revisiting initially non-rewarding states that could become important stepping stones later in training. We introduce Deep Curiosity Search (DeepCS), which encourages intra-life exploration by rewarding agents for visiting as many different states as possible within each episode, and show that DeepCS matches the performance of current state-of-the-art methods on Montezuma's Revenge. We further show that DeepCS improves exploration on Amidar, Freeway, Gravitar, and Tutankham (many of which are hard exploration games). Surprisingly, DeepCS doubles A2C performance on Seaquest, a game we would not have expected to benefit from intra-life exploration because the arena is small and already easily navigated by naive exploration techniques. In one run, DeepCS achieves a maximum training score of 80,000 points on Seaquest, higher than any methods other than Ape-X. The strong performance of DeepCS on these sparse- and dense-reward tasks suggests that encouraging intra-life novelty is an interesting, new approach for improving performance in Deep RL and motivates further research into hybridizing across-training and intra-life exploration methods.

研究动机与目标

• 解决现有深度强化学习探索方法仅关注训练过程整体新颖性的局限，此类方法可能抑制智能体重新访问初始时无奖励但后续具有价值的状态。
• 探究鼓励回合内新颖性——即在单个回合内探索新状态——是否能提升在具有挑战性的深度强化学习环境中的学习效率与最终性能。
• 评估回合内探索是否不仅对稀疏奖励游戏有益，也对朴素探索已有效的密集奖励游戏有帮助。
• 确定使用好奇心网格（作为记忆机制）是否能提升性能，以及其是否对取得优异结果是必需的。
• 探索结合回合内新颖性与训练过程整体新颖性以提升深度强化学习中探索能力的潜力。

提出的方法

• DeepCS引入一种基于好奇心的内在奖励机制，用于衡量当前回合内访问的独特状态数量，从而激励智能体在其生命周期内探索新状态。
• 该内在奖励作为当前回合中遇到的不同状态数量的函数进行计算，访问之前未见过的状态将获得更高奖励。
• 该算法将此内在好奇心信号整合到策略更新过程中，在标准深度强化学习框架（如A2C或PPO）中与外部稀疏奖励信号相结合。
• 使用好奇心网格作为记忆机制，用于追踪回合内已访问的状态，通过RAM或学习到的嵌入向量来定义状态的独特性。
• 该方法在Atari 57款游戏的套件上进行评估，包括蒙特祖马的复仇（Montezuma’s Revenge）、Seaquest和Amidar，采用标准深度强化学习训练协议。
• 该方法与基线方法（如A2C、A3C、DQN）以及当前最先进内在好奇心方法（如伪计数（PC）和PCn）进行对比。

实验结果

研究问题

• RQ1 与传统基于训练过程整体新颖性的方法相比，回合内新颖性——即在单个回合内探索新状态——是否能提升在具有挑战性的深度强化学习任务上的性能？
• RQ2 在Seaquest等密集奖励游戏中，回合内探索是否仍能带来收益，即使朴素探索已足够有效？
• RQ3 好奇心网格对DeepCS实现优异性能是否必不可少，还是该算法可在无显式历史状态记忆的情况下仍取得成功？
• RQ4 结合回合内新颖性与训练过程整体新颖性是否能带来更优的整体探索与学习效率？
• RQ5 在稀疏奖励Atari游戏中，DeepCS与当前最先进内在好奇心方法（如伪计数）相比表现如何？

主要发现

• 在蒙特祖马的复仇（Montezuma’s Revenge）上，DeepCS达到与当前最先进训练过程整体新颖性方法相当的性能，其中位得分与PC和PCn相近，单次运行最高得分达6,600分。
• 在Seaquest上，DeepCS使A2C的性能翻倍，单次训练运行最高得分达80,000分——仅次于Ape-X的所有方法。
• DeepCS在Amidar、Freeway、Gravitar和Tutankham上显著提升性能，优于朴素探索与基线内在好奇心方法。
• 好奇心网格可提升性能，但并非绝对必要，因为DeepCS在无该机制时仍能取得优异结果，表明其对记忆设计具有鲁棒性。
• 该算法表明，回合内新颖性在密集奖励环境中也有效，挑战了此类方法仅适用于稀疏奖励环境的假设。
• 结果表明，结合回合内新颖性与训练过程整体新颖性可能带来进一步性能提升，因为两者分别应对探索挑战的不同方面。