[논문 리뷰] Understanding Reinforcement Learning Algorithms: The Progress from Basic Q-learning to Proximal Policy Optimization

Mohamed-Amine Chadi, Hajar Mousannif|arXiv (Cornell University)|2023. 03. 31.

Blockchain Technology Applications and Security인용 수 8

한 줄 요약

초보자 친화적인 리뷰로 Q-learning에서 TD3, PPO, 오프라인 RL과 같은 현대 알고리즘까지의 RL 개념을 초보자 친화적으로 추적하며 동기, 작동 원리, 한계를 개괄하는 리뷰.

ABSTRACT

This paper presents a review of the field of reinforcement learning (RL), with a focus on providing a comprehensive overview of the key concepts, techniques, and algorithms for beginners. RL has a unique setting, jargon, and mathematics that can be intimidating for those new to the field or artificial intelligence more broadly. While many papers review RL in the context of specific applications, such as games, healthcare, finance, or robotics, these papers can be difficult for beginners to follow due to the inclusion of non-RL-related work and the use of algorithms customized to those specific applications. To address these challenges, this paper provides a clear and concise overview of the fundamental principles of RL and covers the different types of RL algorithms. For each algorithm/method, we outline the main motivation behind its development, its inner workings, and its limitations. The presentation of the paper is aligned with the historical progress of the field, from the early 1980s Q-learning algorithm to the current state-of-the-art algorithms such as TD3, PPO, and offline RL. Overall, this paper aims to serve as a valuable resource for beginners looking to construct a solid understanding of the fundamentals of RL and be aware of the historical progress of the field. It is intended to be a go-to reference for those interested in learning about RL without being distracted by the details of specific applications.

연구 동기 및 목표

• 신입 학습자를 위한 기본 RL 원리의 명확하고 간결한 개요 제공.
• 초기 Q-learning에서 현재 최첨단 방법까지 RL 알고리즘의 진화 조사.
• 각 알고리즘/방법의 동기, 내부 작동 방식 및 한계 강조.
• 응용에 특화된 산만함을 피하고 견고한 기초 참조로 활용.

제안 방법

• 1980년대부터 현대 방법까지의 RL 알고리즘의 역사적 진행 경로 제시.
• 각 알고리즘의 동기, 핵심 메커니즘, 한계 설명.
• 응용 분야의 세부사항보다는 분야의 역사적 발전에 맞춰 제시.

실험 결과

연구 질문

• RQ1 초보자를 위한 강화 학습의 기본 원리는 무엇인가?
• RQ2 RL 알고리즘은 Q-learning에서 TD3, PPO, 오프라인 RL과 같은 현대 방법으로 어떻게 진화해 왔는가?
• RQ3 주요 RL 알고리즘의 동기, 내부 작동 원리 및 한계는 무엇인가?
• RQ4 초보자 지향적 개요가 독자들이 응용-specific 산만함 없이 RL을 이해하는 데 어떻게 도움이 될 수 있는가?

주요 결과

• 이 논문은 RL 개념 및 기술에 대한 포괄적이고 초보자 지향적인 개요를 제공한다.
• Q-learning에서 현재의 최첨단 알고리즘인 TD3, PPO, 오프라인 RL까지의 역사적 진행을 추적한다.
• 각 알고리즘에 대해 동기, 내부 작동 원리 및 한계를 개요하여 기초 이해를 지원한다.