[论文解读] Challenges of Real-World Reinforcement Learning

Gabriel Dulac-Arnold, Daniel J. Mankowitz+1 more|arXiv (Cornell University)|Apr 29, 2019

Reinforcement Learning in Robotics参考文献 67被引用 252

一句话总结

本文确定了在现实世界系统中部署 RL 时的 nine 实践挑战，调查了针对每一个挑战的现有方法和评估指标，并在一个修改后的控制套件作为测试平台上进行了演示。

ABSTRACT

Reinforcement learning (RL) has proven its worth in a series of artificial domains, and is beginning to show some successes in real-world scenarios. However, much of the research advances in RL are often hard to leverage in real-world systems due to a series of assumptions that are rarely satisfied in practice. We present a set of nine unique challenges that must be addressed to productionize RL to real world problems. For each of these challenges, we specify the exact meaning of the challenge, present some approaches from the literature, and specify some metrics for evaluating that challenge. An approach that addresses all nine challenges would be applicable to a large number of real world problems. We also present an example domain that has been modified to present these challenges as a testbed for practical RL research.

研究动机与目标

• 激发在现实世界、数据有限、安全受限环境中可行的 RL 方法的需求。
• 刻画 nine 个具体挑战，区分现实世界 RL 与实验室 RL。
• 提出针对每个挑战定制的评估框架和指标。
• 在修改的 DeepMind control suite 人形任务上说明这些挑战及评估策略。

提出的方法

• 在 MDP/POMDP/安全约束背景下定义并形式化 nine 个现实世界 RL 挑战。
• 调查与文献一致的方法用于每个挑战（批量/离策略训练、样本效率、高维空间、安全约束、部分可观测性/非平稳性、未指定/多目标奖励、可解释性、实时推断和延迟）。
• 提出针对每个挑战的具体评估指标（例如， warm-start 性能、数据效率、安全违规计数、最坏情况性能、CVaR、多目标向量）。
• 通过修改一个控制套件任务以整合所有挑战来呈现一个测试平台，并提供实际评估各方面的指导。

实验结果

研究问题

• RQ1 将 RL 大规模投入现实世界系统的关键挑战是什么？
• RQ2 如何对每个挑战进行定义、衡量和评估？
• RQ3 哪些现有方法应对这些挑战，在将它们综合考虑时还存在哪些空缺？
• RQ4 一个测试平台能否同时展示对所有 nine 个挑战的处理？

主要发现

• 提出了一组全面的 nine 个现实世界 RL 挑战，每个都包含定义、文献中的方法以及评估指标。
• 提供了一个综合评估框架，强调安全、鲁棒性和多目标考量，而不仅仅是平均回报。
• 批量/离策略训练、数据效率、通过 CMDP 的安全性、以及实时推断成为生产可行性的关键。
• 在修改的 DeepMind control suite 中的一个 toy-example 演示了如何在所有 nine 个挑战上对算法进行压力测试。
• 本文认为解决所有 nine 个挑战的算法将适用于广泛的现实世界问题。