[논문 리뷰] Deep Reinforcement Learning: An Overview

Yuxi Li|arXiv (Cornell University)|2017. 01. 25.

Data Stream Mining Techniques참고 문헌 399인용 수 542

한 줄 요약

딥 강화학습에 대한 광범위한 고찰로, 핵심 요소(가치 함수, 정책, 보상, 모델, 계획, 탐색, 지식), 주요 메커니즘(주의/메모리, 비지도 학습, 전이 학습, 다중 에이전트, 계층적, 학습-학습하기), 그리고 폭넓은 응용을 상세히 다룬다.

ABSTRACT

We give an overview of recent exciting achievements of deep reinforcement learning (RL). We discuss six core elements, six important mechanisms, and twelve applications. We start with background of machine learning, deep learning and reinforcement learning. Next we discuss core RL elements, including value function, in particular, Deep Q-Network (DQN), policy, reward, model, planning, and exploration. After that, we discuss important mechanisms for RL, including attention and memory, unsupervised learning, transfer learning, multi-agent RL, hierarchical RL, and learning to learn. Then we discuss various applications of RL, including games, in particular, AlphaGo, robotics, natural language processing, including dialogue systems, machine translation, and text generation, computer vision, neural architecture design, business management, finance, healthcare, Industry 4.0, smart grid, intelligent transportation systems, and computer systems. We mention topics not reviewed yet, and list a collection of RL resources. After presenting a brief summary, we close with discussions. Please see Deep Reinforcement Learning, arXiv:1810.06339, for a significant update.

연구 동기 및 목표

• 딥 RL과 관련하여 기계 학습, 딥 러닝, 강화 학습의 기초를 요약한다.
• 딥 RL의 발전을 주도하는 여섯 가지 핵심 RL 요소와 여섯 가지 중요한 메커니즘을 식별하고 설명한다.
• 게임, 로봇공학, NLP, 컴퓨터 비전, 산업 등 다양한 도메인에서의 딥 RL의 주요 응용을 조사한다.

제안 방법

• 가치 함수, 정책, 보상, 모델과 계획, 탐색, 지식을 포함한 핵심 RL 요소를 설명한다.
• 주의와 메모리, 비지도 학습, 전이 학습, 다중 에이전트 RL, 계층적 RL, 학습-학습하기 등 중요한 메커니즘을 논의한다.
• 딥 RL의 영향을 설명하기 위해 도메인 전반에 걸친 광범위한 응용에 대한 구조적 개요를 제시한다.

실험 결과

연구 질문

• RQ1 강화학습의 기본 구성 요소는 무엇이며, 딥러닝이 그것들을 어떻게 보강하는가?
• RQ2 다양한 작업과 환경에서 딥 RL이 성공하도록 하는 메커니즘은 무엇인가?
• RQ3 딥 RL이 큰 진전을 이룬 주요 응용 영역은 어디인가?
• RQ4 딥 RL 연구자들에게 관련된 자원과 향후 방향성은 무엇인가?
• RQ5 딥 RL 생태계에서 핵심 요소, 메커니즘, 응용은 서로 어떻게 연관되는가?

주요 결과

• 딥 RL은 심층 네트워크와 강화학습을 결합하여 엔드투엔드 표현 학습과 확장성 향상을 달성한다.
• 주의/메모리, 비지도 학습, 전이 학습, 다중 에이전트 및 계층적 구조, 메타 학습은 현대 딥 RL의 핵심 메커니즘이다.
• AlphaGo, DQN, 및 관련 진전은 게임, 로봇공학, NLP, 비전 등에서의 경험적 성공을 보여준다.
• 개요는 게임, 로봇공학, NLP, CV, 금융, 보건의료, 교육, 산업 4.0 등 광범위한 응용 분야를 강조한다.
• 본 논문은 RL 자원의 큐레이션된 세트를 제공하며 Sutton & Barto의 RL 책이 여전히 기본 참고문헌임을 언급한다.