[论文解读] Measuring the Reliability of Reinforcement Learning Algorithms

Stephanie C. Y. Chan, Samuel H. Fishman+3 more|arXiv (Cornell University)|Dec 10, 2019

Reinforcement Learning in Robotics参考文献 29被引用 41

一句话总结

本文定义了一组用于强化学习的开源可靠性度量，量化在时间、运行次数和固定策略滚动中的离散性与风险，并附带用于比较的非参数统计检验。

ABSTRACT

Lack of reliability is a well-known issue for reinforcement learning (RL) algorithms. This problem has gained increasing attention in recent years, and efforts to improve it have grown substantially. To aid RL researchers and production users with the evaluation and improvement of reliability, we propose a set of metrics that quantitatively measure different aspects of reliability. In this work, we focus on variability and risk, both during training and after learning (on a fixed policy). We designed these metrics to be general-purpose, and we also designed complementary statistical tests to enable rigorous comparisons on these metrics. In this paper, we first describe the desired properties of the metrics and their design, the aspects of reliability that they measure, and their applicability to different scenarios. We then describe the statistical tests and make additional practical recommendations for reporting results. The metrics and accompanying statistical tools have been made available as an open-source library at https://github.com/google-research/rl-reliability-metrics. We apply our metrics to a set of common RL algorithms and environments, compare them, and analyze the results.

研究动机与目标

• 说明在种子、环境和实现之间存在高度变异性，因此需要量化强化学习中的可靠性。
• 定义通用的可靠性度量，捕捉训练过程及学习后多个方面的变异性。
• 区分离散性与风险，以及训练期间评估与学习后评估之间的差异。
• 提供统计工具和报告建议，以实现严格、可比的可靠性分析。

提出的方法

• 定义三个变异性轴：训练期间的时间维度、训练期间的运行维度，以及学习后对固定策略滚动的运行维度。
• 对每个轴使用两种变异性度量：离散性（如 IQR 等稳健统计量）和风险（CVaR），以捕捉尾部极值。
• 通过对训练曲线去趋势并在滑动窗口内应用 IQR，计算时间上的离散性。
• 将性能的一阶差分的 CVaR 作为时间上的短期风险进行计算。
• 将相对于运行峰值的回撤的 CVaR 作为时间上的长期风险进行计算。
• 在运行间对低通滤波后的运行性能计算离散性为 IQR；对运行间的风险计算为 CVaR。
• 对固定策略滚动的离散性计算为 IQR；对这些滚动的风险计算为 CVaR。
• 解决对评估频率的无关性，并使用自助法置信区间和置换检验进行比较。
• 建议在报告中清晰地指定参数（窗口大小、滤波、评估频率等）并进行归一化，以实现公平比较。

实验结果

研究问题

• RQ1 如何在超越跨环境和跨种子的均值/中位数性能的基础上量化 RL 的可靠性？
• RQ2 有哪些稳健的统计工具可用于在算法和环境之间比较可靠性度量？
• RQ3 可靠性模式是否与中位数性能一致或偏离，环境特定分析是否能揭示强项/弱项？
• RQ4 应如何报告结果以实现跨研究的公平、可重复的比较？

主要发现

• 可靠性指标常常揭示中位数性能未能捕捉的差异；拥有强均值性能的算法可能可靠性差，反之亦然。
• 在连续控制实验中，SAC 和 TD3 在训练期间显示出强的可靠性，但学习后在可靠性方面可能不如训练时的表现。
• 在 Atari 实验中，Rainbow 的中位性能可能更好，但 IQN 在若干指标上可显示更强的可靠性。
• 可靠性模式可能随环境而异，强调对环境逐一分析与汇总结果并重的价值。
• 一款开源的 Python 包随本文提供，以促进对这些度量和统计工具的采用。