[论文解读] Deep Reinforcement Learning: An Overview

Yuxi Li|arXiv (Cornell University)|Jan 25, 2017

Data Stream Mining Techniques参考文献 399被引用 542

一句话总结

对深度强化学习的广泛综述，详细描述核心要素（价值函数、策略、奖励、模型、规划、探索、知识）、关键机制（注意力/记忆、无监督学习、迁移学习、多智能体、分层、学习-to-learn）以及广泛的应用。

ABSTRACT

We give an overview of recent exciting achievements of deep reinforcement learning (RL). We discuss six core elements, six important mechanisms, and twelve applications. We start with background of machine learning, deep learning and reinforcement learning. Next we discuss core RL elements, including value function, in particular, Deep Q-Network (DQN), policy, reward, model, planning, and exploration. After that, we discuss important mechanisms for RL, including attention and memory, unsupervised learning, transfer learning, multi-agent RL, hierarchical RL, and learning to learn. Then we discuss various applications of RL, including games, in particular, AlphaGo, robotics, natural language processing, including dialogue systems, machine translation, and text generation, computer vision, neural architecture design, business management, finance, healthcare, Industry 4.0, smart grid, intelligent transportation systems, and computer systems. We mention topics not reviewed yet, and list a collection of RL resources. After presenting a brief summary, we close with discussions. Please see Deep Reinforcement Learning, arXiv:1810.06339, for a significant update.

研究动机与目标

• 将机器学习、深度学习、和强化学习的基础与深度 RL 的关系总结清楚。
• 识别并解释推动深度 RL 进展的六个核心 RL 元素和六个重要机制。
• 综述深度 RL 在游戏、机器人、NLP、计算机视觉等领域及工业中的主要应用。

提出的方法

• 描述核心 RL 元素，包括价值函数、策略、奖励、模型与规划、探索与知识。
• 讨论注意力与记忆、无监督学习、迁移学习、多智能体 RL、分层 RL、以及学习到学习等重要机制。
• 对跨领域的大量应用进行结构化概述，以展示深度 RL 的影响。

实验结果

研究问题

• RQ1 强化学习的基本构成要素是什么，深度学习如何增强它们？
• RQ2 哪些机制使深度 RL 能在多样任务和环境中取得成功？
• RQ3 深度 RL 取得显著进展的主要应用领域有哪些？
• RQ4 对于深度 RL 的研究者，哪些资源和未来方向是相关的？
• RQ5 在深度 RL 的生态中，核心要素、机制与应用如何相互关联？

主要发现

• 深度 RL 将深度网络与强化学习结合，实现端到端的表征学习和可扩展性提升。
• 注意力、记忆、无监督学习、迁移学习、多智能体与分层结构，以及元学习，是现代深度 RL 的核心机制。
• AlphaGo、DQN 及相关进展在游戏、机器人、NLP、视觉等领域的经验性成功。
• 综述 highlighting 广泛的应用领域包括游戏、机器人、NLP、CV、金融、医疗、教育，以及工业 4.0。
• 论文提供了一个精心整理的 RL 资源集合，并指出 Sutton & Barto 的 RL 书籍仍然是基础参考。