[论文解读] Evaluating the Robustness of Collaborative Agents

P. A. Knott, Micah Carroll+5 more|arXiv (Cornell University)|Jan 14, 2021

Reinforcement Learning in Robotics参考文献 33被引用 8

一句话总结

本文提出一种单元测试方法，用于评估人类-人工智能协作中协作智能体的鲁棒性，通过Overcooked环境中的边界情况场景，检测平均奖励度量所遗漏的故障。结果表明，测试套件揭示了关键的鲁棒性洞察——例如对新型伙伴行为的更强适应性——这些信息在标准验证中无法获得，尤其当奖励与鲁棒性度量出现分歧时更为显著。

ABSTRACT

In order for agents trained by deep reinforcement learning to work alongside humans in realistic settings, we will need to ensure that the agents are \emph{robust}. Since the real world is very diverse, and human behavior often changes in response to agent deployment, the agent will likely encounter novel situations that have never been seen during training. This results in an evaluation challenge: if we cannot rely on the average training or validation reward as a metric, then how can we effectively evaluate robustness? We take inspiration from the practice of \emph{unit testing} in software engineering. Specifically, we suggest that when designing AI agents that collaborate with humans, designers should search for potential edge cases in \emph{possible partner behavior} and \emph{possible states encountered}, and write tests which check that the behavior of the agent in these edge cases is reasonable. We apply this methodology to build a suite of unit tests for the Overcooked-AI environment, and use this test suite to evaluate three proposals for improving robustness. We find that the test suite provides significant insight into the effects of these proposals that were generally not revealed by looking solely at the average validation reward.

研究动机与目标

• 解决通过深度强化学习训练的协作式AI智能体在评估鲁棒性方面的挑战，特别是在部署时面临未见过的人类行为和状态时。
• 克服仅依赖平均验证奖励的局限性，该方法无法捕捉罕见或新型边界情况下的性能表现。
• 开发一种受软件工程单元测试启发的系统化测试框架，以主动识别在多样化伙伴和环境条件下智能体行为的故障模式。
• 证明基于测试的评估相较于仅依赖奖励度量，能提供更细致且可靠的鲁棒性洞察，尤其在具有高度可变性的现实部署场景中。

提出的方法

• 设计一套单元测试，专门针对伙伴行为中的边界情况（例如：空闲、固执或AFK的伙伴）和环境状态（例如：物品放错位置、异常物体摆放）进行测试。
• 在Overcooked-AI环境中应用该测试套件，该环境要求智能体在动态约束下协作完成烹饪与送餐任务。
• 使用测试套件评估三种增强鲁棒性的策略：(1) 通过心智理论（ToM）提升人类模型质量，(2) 使用智能体群体增加人类模型多样性，(3) 从人类-人类对战的游戏状态初始化训练。
• 不仅通过平均验证奖励，还通过每项单元测试的通过率来衡量性能，从而实现鲁棒性与平均性能的对比。
• 使用行为克隆（BC）与ToM智能体的混合群体，探索在不同故障模式下奖励与鲁棒性之间的权衡。
• 评估群体规模与参数选择对鲁棒性的影响，包括随机采样与人工调优的ToM参数采样方式。

实验结果

研究问题

• RQ1 平均验证奖励在多大程度上与涉及人类伙伴的新颖或边界情况场景下的鲁棒性相关？
• RQ2 单元测试套件能否检测到标准奖励度量在协作式深度强化学习中无法察觉的鲁棒性故障？
• RQ3 不同策略——提升人类模型质量、模型多样性与状态多样性——在单元测试中测量的智能体鲁棒性方面有何影响？
• RQ4 在提升平均性能与增强对特定故障模式的鲁棒性之间是否存在权衡？
• RQ5 单元测试能否识别出标准度量无法捕捉的细微鲁棒性问题，如与记忆相关的故障？

主要发现

• 原始的深度强化学习智能体在单元测试套件上的得分低于65%，证实标准训练无法产生鲁棒的协作行为。
• 从人类-人类对战的游戏状态初始化训练，提升了测试套件中的鲁棒性，但降低了平均验证奖励，表明平均性能与对新状态的适应性之间存在权衡。
• 使用BC与ToM智能体的混合群体显著提高了平均验证奖励——可能是因为验证集本身是混合的——但仅适度提升了测试套件的通过率。
• 混合群体提升了智能体的整体鲁棒性，但相比纯BC群体，其记忆鲁棒性略有下降，表明在不同鲁棒性维度之间存在复杂权衡。
• 随机采样ToM参数的表现优于人工调优的多样性设计，挑战了关于为模型多样性进行有意设计的假设。
• 将群体规模从10增加到500，所有度量指标均稳步提升（尽管速度较慢），表明更大的群体规模可增强鲁棒性。