[论文解读] Empirical Design in Reinforcement Learning

Andrew D. Patterson, Samuel Neumann+2 more|arXiv (Cornell University)|Apr 3, 2023

Software Engineering Research被引用 7

一句话总结

本文为强化学习中的严格实验设计提供了全面指南，解决了实验方法中的关键缺陷，如统计实践不当、超参数敏感性以及基线不足等问题。文章倡导系统性假设检验、恰当的性能评估以及可复现的实验，以确保强化学习研究的科学有效性。

ABSTRACT

Empirical design in reinforcement learning is no small task. Running good experiments requires attention to detail and at times significant computational resources. While compute resources available per dollar have continued to grow rapidly, so have the scale of typical experiments in reinforcement learning. It is now common to benchmark agents with millions of parameters against dozens of tasks, each using the equivalent of 30 days of experience. The scale of these experiments often conflict with the need for proper statistical evidence, especially when comparing algorithms. Recent studies have highlighted how popular algorithms are sensitive to hyper-parameter settings and implementation details, and that common empirical practice leads to weak statistical evidence (Machado et al., 2018; Henderson et al., 2018). Here we take this one step further. This manuscript represents both a call to action, and a comprehensive resource for how to do good experiments in reinforcement learning. In particular, we cover: the statistical assumptions underlying common performance measures, how to properly characterize performance variation and stability, hypothesis testing, special considerations for comparing multiple agents, baseline and illustrative example construction, and how to deal with hyper-parameters and experimenter bias. Throughout we highlight common mistakes found in the literature and the statistical consequences of those in example experiments. The objective of this document is to provide answers on how we can use our unprecedented compute to do good science in reinforcement learning, as well as stay alert to potential pitfalls in our empirical design.

研究动机与目标

• 解决强化学习实验中日益严重的可复现性危机与薄弱的统计证据问题。
• 区分强化学习中的科学研究与工程演示，强调可证伪假设与受控实验的必要性。
• 提供一种实用且基于证据的实验设计框架，以生成可靠且可推广的结果。
• 指出常见方法论错误（如无效的误差棒、基线选择不当以及计算效率低下）如何损害科学可信度。
• 倡导负责任地使用计算资源，包括避免因预算限制导致的统计功效不足实验

提出的方法

• 提出一种系统性框架，用于使用适当的性能度量评估强化学习智能体，包括在线与离线评估以及折扣策略。
• 强调统计严谨性的重要性，包括适当的假设检验、置信区间，以及对性能变化背后假设的充分认识。
• 建议系统性地进行超参数搜索，并报告实现细节，以确保可复现性并减少研究者偏差。
• 提出构建有意义基线的指导原则，包括简单策略与随机策略，以避免高估算法性能。
• 倡导代码优化与计算效率，以在可行的资源约束下实现系统性实验。
• 建议避免基准测试的“门禁”行为，转而聚焦于知识生成，而非“赢家通吃”的结果

实验结果

研究问题

• RQ1 研究人员在高方差与有限运行次数的条件下，如何确保比较强化学习算法时的统计有效性？
• RQ2 在强化学习评估中，使用不恰当的性能度量（如离线回报或误导性误差棒）会产生何种后果？
• RQ3 研究人员在设计强化学习实验时，如何避免研究者偏差与超参数过拟合？
• RQ4 即使计算资源有限，为何依赖单次运行或不足的试验在科学上是站不住脚的？
• RQ5 什么是强化学习中的恰当基线？为何简单或随机策略对于公平比较至关重要？

主要发现

• 许多常用性能度量（如离线回报或紧密着色的误差区域）可能因对数据分布与方差的错误假设而产生误导。
• 运行次数少于5至10次的实验通常缺乏足够的统计功效，难以得出可靠结论，即使计算预算很高。
• 未能报告实现细节（如奖励塑造或探索调度）会损害可复现性，并可能导致性能声明被夸大。
• 使用随机或简单基线（如随机策略）常能揭示所提算法并未优于简单启发式方法，暴露出对特定环境的过拟合。
• 计算效率低下迫使研究人员在实验设计上妥协，如减少运行次数或超参数搜索，从而导致科学结论无效。
• 本文表明，即使知名结果在应用正确统计标准评估时也可能被重新解释为具有误导性，凸显方法论严谨性的必要性