[论文解读] Automated Reinforcement Learning: An Overview

Reza Refaei Afshar, Joaquin Vanschoren+5 more|arXiv (Cornell University)|Jan 13, 2022

Data Stream Mining Techniques被引用 13

一句话总结

本文全面概述了自动化强化学习（AutoRL），提出了一套自动化强化学习关键组件的流程，包括马尔可夫决策过程（MDP）建模、算法选择和超参数优化。通过与AutoML类比，作者综述了近年来利用深度强化学习、神经进化和贝叶斯优化等技术，自动实现状态与动作表示、奖励设计、神经网络架构搜索及超参数调优的方法，旨在降低对专家的依赖，并提升序列决策任务中的效率。

ABSTRACT

Reinforcement Learning and, recently, Deep Reinforcement Learning are popular methods for solving sequential decision-making problems modeled as Markov Decision Processes. RL modeling of a problem and selecting algorithms and hyper-parameters require careful consideration, as different configurations may entail completely different performances. These considerations are mainly the task of RL experts; however, RL is progressively becoming popular in other fields, such as combinatorial optimization, where researchers and system designers are not necessarily RL experts. Besides, many modeling decisions are typically made manually, such as defining state and action space, size of batches, batch update frequency, and time steps. For these reasons, automating different components of RL is of great importance, and it has attracted much attention in recent years. Automated RL provides a framework in which different components of RL, including MDP modeling, algorithm selection, and hyper-parameter optimization, are modeled and defined automatically. In this article, we present the literature on automated RL (AutoRL), including the recent large language model (LLM) based techniques. We also discuss the recent work on techniques that are not presently tailored for automated RL but hold promise for future integration into AutoRL. Furthermore, we discuss the challenges, open questions, and research directions in AutoRL.

研究动机与目标

• 应对强化学习（RL）领域日益增长的自动化需求，以减少非专家用户对专家知识的依赖。
• 系统性地自动化强化学习核心组件，如状态空间与动作空间的定义、奖励设计以及超参数配置。
• 构建一个类似AutoML的稳健、端到端的AutoRL流程，以简化并优化序列决策工作流。
• 通过最小化手动调优和配置开销，实现在多样化领域中高效且可扩展的强化学习部署。
• 识别并解决AutoRL中的开放挑战，包括泛化能力、计算效率以及自动化神经网络架构搜索。

提出的方法

• 提出一种受AutoML启发的结构化AutoRL流程，整合自动化MDP构建、算法选择与超参数优化。
• 利用深度强化学习（DRL）技术，如PPO和REINFORCE，通过定义状态、动作与奖励，学习神经网络中的最优位宽配置。
• 应用神经进化算法（如DeepNEAT和CoDeepNEAT），通过进化过程自动演化神经网络架构与超参数。
• 结合贝叶斯优化与元学习，实现超参数调优的自动化，并提升强化学习训练中的样本效率。
• 定义包含静态层信息与动态训练指标的状态表示，以指导自动化量化与架构搜索。
• 采用多目标奖励函数，平衡模型精度、内存占用与计算成本，实现自动化神经网络压缩与设计。

实验结果

研究问题

• RQ1 如何实现MDP建模的自动化，以减少在强化学习中手动配置状态、动作与奖励空间的需求？
• RQ2 哪些技术能够实现强化学习流程中有效且高效的算法选择与超参数优化？
• RQ3 如何自动确定神经网络架构与量化位宽，以在性能与效率之间取得平衡？
• RQ4 元学习与终身学习在提升强化学习任务间泛化能力与迁移能力方面发挥何种作用？
• RQ5 构建完整且可投入生产的AutoRL流程时，其主要瓶颈与开放挑战是什么？

主要发现

• 自动化MDP建模显著减少了在定义状态空间与动作空间时对专家干预的需求，使强化学习在非专家领域中的应用更加广泛。
• 基于强化学习的超参数优化方法（如使用PPO调优每层的位宽）在模型精度与计算效率之间实现了良好平衡。
• 神经进化方法（如DeepNEAT与CoDeepNEAT）成功实现了深度神经网络的自动化设计，并在图像字幕生成等任务中提升了性能。
• AutoRL中的多目标奖励函数可同时优化精度、内存与计算成本，从而生成紧凑高效的模型。
• 尽管已取得进展，但类似于AutoML的完整集成化、标准化AutoRL流程仍处于初步发展阶段，凸显了重大的开放研究挑战。
• 在AutoRL中整合元学习与终身学习，显示出提升样本效率及在相关任务间实现迁移的潜力。