[论文解读] Evaluating the progress of Deep Reinforcement Learning in the real world: aligning domain-agnostic and domain-specific research

Juan Jose Garau Luis, Edward F. Crawley+1 more|arXiv (Cornell University)|Jul 7, 2021

Reinforcement Learning in Robotics参考文献 78被引用 4

一句话总结

本文通过识别通用DRL研究中的五个关键缺陷（如对机器人任务的过度依赖、缺乏现实世界验证、忽略操作约束等），评估了通用DRL与领域特定DRL研究之间的差距，并提出一种双路径框架，通过提升泛化能力、针对性地开展概念验证以及在DRL单独不足时采用混合决策机制，以促进实际部署。

ABSTRACT

Deep Reinforcement Learning (DRL) is considered a potential framework to improve many real-world autonomous systems; it has attracted the attention of multiple and diverse fields. Nevertheless, the successful deployment in the real world is a test most of DRL models still need to pass. In this work we focus on this issue by reviewing and evaluating the research efforts from both domain-agnostic and domain-specific communities. On one hand, we offer a comprehensive summary of DRL challenges and summarize the different proposals to mitigate them; this helps identifying five gaps of domain-agnostic research. On the other hand, from the domain-specific perspective, we discuss different success stories and argue why other models might fail to be deployed. Finally, we take up on ways to move forward accounting for both perspectives.

研究动机与目标

• 分析通用DRL研究与实际部署挑战之间的脱节问题。
• 识别当前DRL研究中的关键缺陷，这些缺陷阻碍了其在实际场景中的适用性，尤其是在操作背景下的应用。
• 评估领域特定DRL的成功案例，理解为何尽管在仿真中表现优异，许多模型仍无法实际部署。
• 提出一种框架，将可泛化的DRL进展与领域特定的操作需求相协调。
• 通过解决设计权衡与系统级约束，引导未来研究朝向更具操作可行性的DRL系统发展。

提出的方法

• 对近期文献中关于通用DRL挑战及其缓解策略进行全面综述。
• 识别出通用DRL研究中的五个关键缺陷：对机器人应用的过度依赖、对综合挑战关注不足、缺乏现实世界验证、对设计权衡理解有限，以及忽视操作考量。
• 分析不同领域（如机器人、通信、医疗保健、药物发现）中领域特定DRL应用的案例，突出成功部署与失败的节点。
• 提出三项实际部署策略：提升现有模型的泛化能力、开发更多概念验证以覆盖操作空间，以及识别DRL单独不可行的情境。
• 整合两种视角的洞见，倡导在DRL与其它控制或规划方法互补的场景中采用混合决策系统。
• 使用概念框架（图2）区分领域特定的操作背景与可泛化的DRL概念验证，强调两者之间的对齐。

实验结果

研究问题

• RQ1 为何许多深度强化学习模型尽管在仿真中表现优异，却仍无法在真实环境中部署？
• RQ2 通用DRL研究中存在哪些关键缺陷，导致其难以在现实中应用？
• RQ3 领域特定DRL应用在真实部署中成功或失败的原因是什么？操作约束在其中扮演何种角色？
• RQ4 可泛化的DRL模型在多大程度上能覆盖真实系统全部的操作空间？
• RQ5 在哪些操作场景中DRL可能不足，又该如何与其它决策框架结合？

主要发现

• 在通用DRL研究中识别出五个主要缺陷：过度依赖机器人应用场景、对综合挑战关注不足、缺乏现实世界验证、对设计权衡理解有限，以及忽视操作考量。
• 许多领域特定DRL的成功依赖于高度定制化的模型，这些模型牺牲了泛化能力，因此不适合广泛的操作部署。
• 实际部署受阻往往不仅源于算法局限，更在于模型设计与评估中缺乏操作背景的融入。
• 提升泛化能力固然重要，但不足以应对全部需求；可能需要一系列专门化DRL模型来覆盖复杂操作空间。
• 在某些情况下，DRL本身无法覆盖完整操作谱系，因此必须与非DRL决策系统集成。
• 将通用DRL研究与领域特定的操作需求对齐，是推动实际DRL部署发展的关键。