[论文解读] A data-driven approach for learning to control computers

Peter C. Humphreys, David Raposo+9 more|arXiv (Cornell University)|Feb 16, 2022

Reinforcement Learning in Robotics被引用 7

一句话总结

本论文提出了一种数据驱动的强化学习方法，通过利用大规模人类示范数据和行为克隆，实现了在键盘和鼠标计算机控制任务上的类人水平性能。该方法仅使用标准的键盘和鼠标操作，避免了专用动作空间，并在极少架构修改的情况下展现出强大的跨任务迁移能力。

ABSTRACT

It would be useful for machines to use computers as humans do so that they can aid us in everyday tasks. This is a setting in which there is also the potential to leverage large-scale expert demonstrations and human judgements of interactive behaviour, which are two ingredients that have driven much recent success in AI. Here we investigate the setting of computer control using keyboard and mouse, with goals specified via natural language. Instead of focusing on hand-designed curricula and specialized action spaces, we focus on developing a scalable method centered on reinforcement learning combined with behavioural priors informed by actual human-computer interactions. We achieve state-of-the-art and human-level mean performance across all tasks within the MiniWob++ benchmark, a challenging suite of computer control problems, and find strong evidence of cross-task transfer. These results demonstrate the usefulness of a unified human-agent interface when training machines to use computers. Altogether our results suggest a formula for achieving competency beyond MiniWob++ and towards controlling computers, in general, as a human would.

研究动机与目标

• 开发一种可扩展的、通用的训练方法，使智能体仅通过键盘和鼠标输入控制计算机。
• 探究大规模人类示范数据是否能在无需专用动作空间或复杂课程设计的情况下，实现计算机控制任务中的优异性能。
• 评估将行为克隆与强化学习结合在统一的人机交互界面中用于数字任务自动化的有效性。
• 确定在真实、交互式的基于Web的环境中，实现跨任务迁移和类人水平性能是否可行。
• 通过证明仅数据规模本身即可弥合性能差距，从而验证早期研究中提出的假设：传统强化学习方法不足以应对计算机控制任务。

提出的方法

• 仅使用键盘和鼠标操作作为智能体的动作空间，与人类交互模式直接对齐。
• 利用大规模人类示范轨迹（最大达先前数据集的400倍）进行行为克隆，以预训练智能体策略。
• 结合行为克隆与强化学习，利用MiniWob++环境中的程序化奖励对策略进行微调。
• 采用统一的观测空间，结合像素级视觉输入和DOM级状态信息，以实现更丰富的环境理解。
• 使用任务特定的文本字符串字典，以减少训练期间的探索负担，尤其在文本输入密集型任务中。
• 在行为克隆策略基础上应用标准深度强化学习算法（如SAC或PPO），无需专用动作空间或课程设计。

实验结果

研究问题

• RQ1 仅使用键盘和鼠标操作，通过行为克隆与强化学习的简单组合，是否能在计算机控制任务中实现类人水平性能？
• RQ2 增加人类示范数据规模对MiniWob++任务性能有何影响？
• RQ3 在MiniWob++基准中，于某一任务上训练的策略在多大程度上可泛化到其他任务？
• RQ4 在复杂Web任务中，使用标准动作空间（键盘和鼠标）是否优于或至少可媲美使用DOM特定动作的性能？
• RQ5 仅依靠大规模人类数据是否足以弥合与类人行为的性能差距，而无需架构创新或课程学习？

主要发现

• 该方法在MiniWob++基准的所有任务中均达到最先进水平和类人水平的平均性能，显著超越先前的最先进方法。
• 性能随人类示范数据量的增加而单调提升，在数据规模达到先前数据集的400倍时仍未出现饱和迹象。
• 观察到显著的跨任务迁移能力，表明智能体学习的是可泛化的技能，而非记忆特定任务的操作。
• 统一的键盘和鼠标接口的使用，使智能体能够有效泛化到缺乏紧凑DOM结构的任务，支持更广泛的应用场景。
• 结果表明，仅使用传统深度强化学习与大规模行为克隆即可实现高性能，挑战了对专用动作空间或复杂课程设计的必要性。
• 该方法在无需架构修改或基于课程的训练情况下即达到类人水平性能，凸显了在交互式智能体学习中数据规模的重要性。