[论文解读] Language Expansion In Text-Based Games
本文提出了一种策略蒸馏方法，通过从多个专用教师智能体迁移知识，训练一个单一的LSTM-DQN智能体，使其能够玩多种文字类游戏。该方法实现了跨游戏的完整、双向语言扩展，词汇量丰富，优于多任务训练和标准迁移学习方法，蒸馏后的智能体在测试游戏中实现了100%任务完成率，同时学习到鲁棒且语义有意义的词嵌入表示。
Text-based games are suitable test-beds for designing agents that can learn by interaction with the environment in the form of natural language text. Very recently, deep reinforcement learning based agents have been successfully applied for playing text-based games. In this paper, we explore the possibility of designing a single agent to play several text-based games and of expanding the agent's vocabulary using the vocabulary of agents trained for multiple games. To this extent, we explore the application of recently proposed policy distillation method for video games to the text-based game setting. We also use text-based games as a test-bed to analyze and hence understand policy distillation approach in detail.
研究动机与目标
- 设计一个能够通过跨游戏双向知识迁移来玩多种文字类游戏的单一智能体。
- 探究当游戏具有不同、重叠或冲突词汇时，策略蒸馏是否能有效扩展智能体的语言词汇量。
- 通过可视化智能体内部的表示和控制模块，分析策略蒸馏的内部工作机制。
- 从学习速度和性能角度，将策略蒸馏与多任务学习和标准迁移学习等替代方法进行比较。
- 评估蒸馏后的词嵌入在具有共享词汇的新未见游戏中的迁移学习实用性。
提出的方法
- 在每款独立的文字类游戏中分别训练LSTM-DQN教师智能体，每个智能体拥有独特的词汇表。
- 使用策略蒸馏，将这些教师智能体的Q值策略迁移至一个具有共享表示层和游戏特定输出头的单一学生网络。
- 在训练期间，使用教师输出的温度缩放软标签（softmax(q^T / τ)）作为学生输出层的目标。
- 使用游戏标签将输入路由到学生网络中相应的作用动作和对象输出模块。
- 为每款游戏维护独立的内存缓冲区，并按顺序每次从一款游戏中采样进行训练。
- 使用热力图可视化内部表示，分析策略蒸馏如何塑造词嵌入和策略决策。
实验结果
研究问题
- RQ1策略蒸馏能否有效将多个游戏专用智能体的知识迁移至一个统一的单一智能体，使其能够玩所有游戏？
- RQ2当游戏具有冲突的状态动态或重叠但不完全相同的词汇时，策略蒸馏的表现如何？
- RQ3蒸馏后的智能体是否学习到语义上有意义的词嵌入，其泛化能力是否优于随机初始化或多任务训练初始化的嵌入？
- RQ4在新未见游戏中，蒸馏智能体的性能与多任务微调和标准迁移学习相比如何？
- RQ5在训练过程中，通过可视化蒸馏智能体的内部表示，可以获得哪些洞见？
主要发现
- 策略蒸馏方法在测试游戏中实现了100%的任务完成率，显著优于多任务LSTM-DQN（仅完成约30%的任务）。
- 使用学生网络中嵌入表示训练的蒸馏智能体（A₄）优于使用所有教师嵌入同时训练的A₆，表明其知识整合能力更优。
- 学生网络学习到了语义上有意义的词嵌入，相似词汇在向量空间中聚类，而多任务训练的嵌入则呈现类似随机的分布。
- 使用蒸馏学生智能体的嵌入进行迁移学习，相比使用单个教师嵌入或随机初始化，收敛速度更快且性能更优。
- 可视化结果表明，策略蒸馏通过在智能体的表示模块和控制模块中生成一致且可解释的表示，稳定了学习过程。
- 该方法成功实现了跨不同词汇表游戏的完整、双向语言扩展，证明了其在智能体中实现持续、在线语言学习的可行性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。