[논문 리뷰] Automated Reinforcement Learning: An Overview

Reza Refaei Afshar, Joaquin Vanschoren외 5명|arXiv (Cornell University)|2022. 01. 13.

Data Stream Mining Techniques인용 수 13

한 줄 요약

이 논문은 자동 강화학습(AutoRL)에 대한 종합적인 개요를 제시하며, 마르코프 결정 과정(MDP) 모델링, 알고리즘 선택, 하이퍼파rameter 최적화와 같은 강화학습의 핵심 요소를 자동화하기 위한 파이프라인을 제안한다. AutoML와의 유사성을 고려해, 최근의 방법들에 대해 상태 및 행동 표현, 보상 설계, 신경망 아키텍처 탐색, 하이퍼파rameter 튜닝을 딥 강화학습, 뉴런 진화, 베이지안 최적화 등의 기법을 사용해 자동화하는 방법을 조사한다. 이는 전문가 의존도를 줄이고 순차적 결정 문제 해결의 효율성을 향상시키는 것을 목표로 한다.

ABSTRACT

Reinforcement Learning and, recently, Deep Reinforcement Learning are popular methods for solving sequential decision-making problems modeled as Markov Decision Processes. RL modeling of a problem and selecting algorithms and hyper-parameters require careful consideration, as different configurations may entail completely different performances. These considerations are mainly the task of RL experts; however, RL is progressively becoming popular in other fields, such as combinatorial optimization, where researchers and system designers are not necessarily RL experts. Besides, many modeling decisions are typically made manually, such as defining state and action space, size of batches, batch update frequency, and time steps. For these reasons, automating different components of RL is of great importance, and it has attracted much attention in recent years. Automated RL provides a framework in which different components of RL, including MDP modeling, algorithm selection, and hyper-parameter optimization, are modeled and defined automatically. In this article, we present the literature on automated RL (AutoRL), including the recent large language model (LLM) based techniques. We also discuss the recent work on techniques that are not presently tailored for automated RL but hold promise for future integration into AutoRL. Furthermore, we discuss the challenges, open questions, and research directions in AutoRL.

연구 동기 및 목표

• 비전문가 사용자가 전문 지식에 의존하는 것을 줄이기 위해 강화학습(RL) 분야의 자동화에 대한 증가하는 수요를 충족시키기 위해.
• 상태 및 행동 공간 정의, 보상 설계, 하이퍼파arameter 설정과 같은 핵심 RL 요소를 체계적으로 자동화하기 위해.
• AutoML에 유사한 종단 간 AutoRL 파이프라인을 개발하여 순차적 결정 워크플로우를 간소화하고 최적화하기 위해.
• 수동 튜닝 및 설정 오버헤드를 최소화하여 다양한 도메인에서 효율적이고 확장 가능한 RL 구현을 가능하게 하기 위해.
• 일반화, 계산 효율성, 자동 신경망 아키텍처 탐색과 같은 AutoRL 분야의 열린 과제를 특정하고 해결하기 위해.

제안 방법

• AutoML를 모델로 삼은 체계적인 AutoRL 파이프라인을 제안하여 자동 MDP 정의, 알고리즘 선택, 하이퍼파arameter 최적화를 통합한다.
• 딥 강화학습(DRL) 기법인 PPO와 REINFORCE를 활용해 상태, 행동, 보상 정의를 통해 신경망의 최적 비트폭 설정을 학습한다.
• 딥네이트(DeepNEAT)와 코딥네이트(CoDeepNEAT)와 같은 뉴런 진화 알고리즘을 적용해 진화 과정을 통해 자동으로 신경망 아키텍처와 하이퍼파aram터를 진화시킨다.
• 베이지안 최적화와 메타학습을 통합하여 하이퍼파aram터 튜닝을 자동화하고 RL 학습의 샘플 효율성을 향상시킨다.
• 정적 레이어 정보와 동적 학습 메트릭을 포함한 상태 표현을 정의하여 자동 양자화 및 아키텍처 탐색을 이끌어낸다.
• 정확도, 메모리 사용량, 계산 비용을 균형 잡는 다목적 보상 함수를 사용해 자동 신경망 압축 및 설계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 강화학습(RL)에서 상태, 행동, 보상 공간의 수동 설정을 줄이기 위해 MDP 모델링을 어떻게 자동화할 수 있는가?
• RQ2 RL 파이프라인에서 효과적이고 효율적인 알고리즘 선택 및 하이퍼파aram터 최적화를 가능하게 하는 기법은 무엇인가?
• RQ3 성능과 효율성을 균형 잡기 위해 신경망 아키텍처와 양자화 비트폭을 어떻게 자동으로 결정할 수 있는가?
• RQ4 메타학습과 종신학습이 다양한 RL 작업 간 일반화 및 이식 가능성 향상에 어떤 역할을 하는가?
• RQ5 완전하고 생산용으로 사용 가능한 AutoRL 파이프라인을 구축하는 데서 주요 병목 현상과 열린 과제는 무엇인가?

주요 결과

• 자동화된 MDP 모델링은 상태 및 행동 공간 정의에 있어 전문가의 간섭이 크게 줄어들어 비전문가 도메인에서도 RL의 적용 범위를 넓히는 데 기여한다.
• 강화학습 기반 하이퍼파aram터 최적화, 예를 들어 PPO를 사용해 각 레이어의 비트폭을 튜닝하는 방식은 모델 정확도와 계산 효율성 사이의 균형을 이루는 데 성공한다.
• 딥네이트(DeepNEAT)와 코딥네이트(CoDeepNEAT)와 같은 뉴런 진화 기법은 이미지 캡션 생성과 같은 작업에서 향상된 성능을 달성하며 깊은 신경망 설계를 자동화하는 데 성공한다.
• AutoRL에서의 다목적 보상 함수는 정확도, 메모리 사용량, 계산 비용을 동시에 최적화하여 컴act하고 효율적인 모델을 도출한다.
• 진전이 있었음에도 불구하고, AutoML에 유사한 완전하고 표준화된 AutoRL 파이프라인은 여전히 개발되지 않아 주요 열린 연구 과제로 남아 있다.
• AutoRL에 메타학습과 종신학습을 통합함으로써 샘플 효율성 향상과 관련 작업 간 이식 가능성 향상에 잠재력이 있음을 확인했다.