[논문 리뷰] Reinforcement Learning: An Overview

Kevin J. Murphy|arXiv (Cornell University)|2024. 12. 06.

Reinforcement Learning in Robotics인용 수 10

한 줄 요약

이 논문은 강화학습(RL)에 대한 포괄적 조사로, 보편적 모델링, RL 형식화, 대표 문제 유형, 주요 RL 방법(값 기반, 정책 기반, 모델 기반)을 개관하고 탐색(탐사), 부분 관찰성 및 관련 최적화 개념에 대한 논의를 제공한다.

ABSTRACT

This manuscript gives a big-picture, up-to-date overview of the field of (deep) reinforcement learning and sequential decision making, covering value-based methods, policy-based methods, model-based methods, multi-agent RL, LLMs and RL, and various other topics (e.g., offline RL, hierarchical RL, intrinsic reward). It also includes some code snippets for training LLMs with RL.

연구 동기 및 목표

• 순차 의사결정 문제와 보편적 RL 모델링 프레임워크를 정의한다.
• 정형화된 RL 환경과 문제 변형(MDPs, POMDPs, 맥락적 MDP, 밴딧)을 제시한다.
• 가치 기반, 정책 기반, 모델 기반 접근 방식으로 RL 방법을 분류하고 주요 알고리즘을 논의한다.
• 탐색-활용 전략과 이들의 이론적 함의(후회, UCB, 톰슨 샘플링)를 논의한다.
• 베이지안 추론, 최적화, 제어 등 관련 영역과의 연결을 제시하고, 신념 상태, 월드 모델 등 실용적 고려사항을 개략한다.

제안 방법

• 상태 s_t, 행동 a_t, 관찰 o_{t+1}를 갖는 보편적 에이전트-환경 프레임워크를 도입하고, 업데이트 U와 예측 P를 이용해 s_{t+1}=SU(s_t,a_t,o_{t+1})를 형성한다.
• 에피소드형 대 계속형 작업을 구분하고 반환 G_t와 값 V_\를 정의한다.
• research_questions

Figure 1.1 : A small agent interacting with a big external world.

실험 결과

연구 질문

• RQ1 RL의 기본 문제 형식과 보편적 모델링 가정은 무엇인가?
• RQ2 다양한 RL 패러다임(MDP, POMDP, 맥락적 MDP/밴딧)은 구조와 해법 접근 방식에서 어떻게 다른가?
• RQ3 RL 방법의 주요 범주와 대표 알고리즘은 무엇이며, 그 장점과 한계는 무엇인가?
• RQ4 RL에서 탐색-활용은 베이지안 및 빈도주의 관점을 포함하여 어떻게 다루어야 하는가?
• RQ5 부분 관찰성, 신념 상태, 월드 모델이 RL 전략 및 성능에 어떤 영향을 미치는가?

주요 결과

• RL은 에이전트와 환경 간의 상호작용을 보편적이고 부분 관찰 가능하며 확률적 모델로 구성하여 표현할 수 있다.
• 가치 기반, 정책 기반, 모델 기반 RL은 최적 정책 학습을 위한 상호 보완적 해법을 다룬다.
• 탐색-활용 트레이드오프는 후회 및 다양한 전략(UCB, 톰슨 샘플링 등)을 통해 분석될 수 있다.
• 신념 상태와 월드 모델 관점은 부분 관찰성과 모델 불확실성 처리에 원칙적 방법을 제공한다.
• 본 연구는 정형화된 모델(MDPs, POMDPs, 맥락적 변형)을 개관하고 RL을 베이지안 추론 및 제어 이론과 같은 이웃 분야와 연결한다.
• 본 문서는 핵심 RL 방법과 실용적 고려사항을 조사하여 챕터 전반에 걸친 심층 연구의 기초를 마련한다.

Figure 1.2 : Diagram illustrating the interaction of the agent and environment. The agent has internal state $s_{t}$ , and chooses action $a_{t}$ based on its policy $\pi_{t}$ . It then predicts its next internal states, $s_{t+1|t}$ , via the predict function $P$ , and optionally predicts the result