[论文解读] Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals

Yue Wu, Yewen Fan+4 more|arXiv (Cornell University)|Feb 9, 2023

Natural Language Processing Techniques被引用 7

一句话总结

本文提出 Read and Reward 框架，通过利用人类编写的说明书来提升 Atari 游戏中样本高效的强化学习。该框架采用零样本问答技术提取关键游戏规则，并借助大语言模型进行推理以生成辅助奖励，实现训练速度最高提升 112 倍，且在 Skiing 游戏中使用 1,000 倍更少的帧数实现 60% 的性能提升，优于当前最先进方法。

ABSTRACT

High sample complexity has long been a challenge for RL. On the other hand, humans learn to perform tasks not only from interaction or demonstrations, but also by reading unstructured text documents, e.g., instruction manuals. Instruction manuals and wiki pages are among the most abundant data that could inform agents of valuable features and policies or task-specific environmental dynamics and reward structures. Therefore, we hypothesize that the ability to utilize human-written instruction manuals to assist learning policies for specific tasks should lead to a more efficient and better-performing agent. We propose the Read and Reward framework. Read and Reward speeds up RL algorithms on Atari games by reading manuals released by the Atari game developers. Our framework consists of a QA Extraction module that extracts and summarizes relevant information from the manual and a Reasoning module that evaluates object-agent interactions based on information from the manual. An auxiliary reward is then provided to a standard A2C RL agent, when interaction is detected. Experimentally, various RL algorithms obtain significant improvement in performance and training speed when assisted by our design.

研究动机与目标

• 通过引入人类可读的游戏说明书作为外部知识，解决 Atari 游戏中强化学习的高样本复杂度问题。
• 在不依赖任务特定奖励设计或合成数据的前提下，提升标准强化学习智能体的学习效率与性能。
• 开发一种可泛化的端到端框架，能够读取真实世界中为人类设计的说明书，并将其转化为强化学习智能体可执行的奖励信号。
• 证明非结构化的自然语言文档可显著加速强化学习训练，同时在不同说明书来源之间保持鲁棒性。

提出的方法

• 一个零样本抽取式问答模块从游戏说明书提取并总结相关信息，重点关注目标、规则和交互机制。
• 一个由大语言模型驱动的推理模块，利用提取的说明书内容评估检测到的游戏内物体交互。
• 通过目标检测与定位识别基于距离的交互（例如，撞击障碍物），并将其映射为辅助奖励。
• 根据交互是否符合说明书中规定的规则（例如，“避免障碍物”或“收集光点”），将辅助奖励计算为 +5 或 -5。
• 该框架与标准 A2C 和 Agent57 强化学习智能体集成，实现即插即用的性能提升，无需重新训练。
• 该系统在不同说明书来源之间具有泛化能力，包括官方开发者手册和 Wikipedia 游戏玩法部分，且性能表现一致。

Figure 1: An overview of our Read and Reward framework. Our system receives the current frame in the environment, and the instruction manual as input. After object detection and grounding, the QA Extraction Module extracts and summarizes relevant information from the manual, and the Reasoning Module

实验结果

研究问题

• RQ1 强化学习智能体能否通过阅读人类编写的说明书来提升 Atari 游戏中的样本效率？
• RQ2 在自然语言说明书上进行零样本问答与推理，在提取可用于强化学习的可执行游戏规则方面有多高效？
• RQ3 该框架是否能在不同来源的说明书中泛化，例如官方开发者指南和 Wikipedia 文章？
• RQ4 与标准强化学习基线相比，从非结构化文本中衍生的辅助奖励在多大程度上能加速学习过程？
• RQ5 该框架是否能在不依赖对合成或精选文本数据进行显式训练的前提下提升性能？

主要发现

• 在 Skiing 游戏中，Read and Reward 使用 1,000 倍更少的训练帧数，相比基线模型实现了 60% 的性能提升。
• 当使用延迟奖励时，Agent57 搭载 Read and Reward 所需的训练步数最多减少 112 倍，即可达到与基线相同的性能水平。
• 该框架在官方游戏说明书和 Wikipedia 游戏玩法部分中均实现了稳定的性能提升，证明了其强大的泛化能力。
• 即使关键物体（如“能量药丸”）未被显式检测到，该框架仍能提升性能，表明其对检测不完整具有鲁棒性。
• 在无延迟奖励的情况下，Read and Reward 仍能将训练速度提升最高 112 倍，尽管未观察到游戏得分提升，证实了奖励设计的关键作用。
• 问答抽取模块在多个游戏中成功检索到所有关键游戏信息，如“避开幽灵”和“收集光点”。

Figure 2: Illustration of the QA Extraction Module on the game PacMan. We obtain generic information about the game by running extractive QA on 4 generic questions (3 shown since one question did not have an answer). We then obtain object-specific information using a question template. We concatenat