[论文解读] Language Understanding for Text-based Games Using Deep Reinforcement Learning

Karthik Narasimhan, Tejas Kulkarni+1 more|arXiv (Cornell University)|Jun 30, 2015

Topic Modeling参考文献 24被引用 108

一句话总结

该论文提出了一种端到端的深度强化学习框架——LSTM-DQN，仅使用游戏奖励作为反馈，联合学习文本游戏中的语义状态表征与控制策略。通过使用LSTM将文本描述编码为有意义的向量表征，并利用深度Q网络学习最优动作，该模型在幻想MUD游戏中实现了96%的任务完成率，显著优于使用词袋或词组袋基线方法的82%。

ABSTRACT

In this paper, we consider the task of learning control policies for text-based games. In these games, all interactions in the virtual world are through text and the underlying state is not observed. The resulting language barrier makes such environments challenging for automatic game players. We employ a deep reinforcement learning framework to jointly learn state representations and action policies using game rewards as feedback. This framework enables us to map text descriptions into vector representations that capture the semantics of the game states. We evaluate our approach on two game worlds, comparing against baselines using bag-of-words and bag-of-bigrams for state representations. Our algorithm outperforms the baselines on both worlds demonstrating the importance of learning expressive representations.

研究动机与目标

• 解决在底层状态不可直接观测且语言变异性使动作选择复杂化的文本游戏中的挑战。
• 直接从原始文本描述中学习表达性强、语义有意义的状态表征，而无需依赖预标注的状态标签。
• 仅使用游戏奖励作为反馈，联合训练策略与表征学习，实现在部分可观察环境中的端到端学习。
• 评估所学表征是否可在不同游戏世界之间迁移以加速学习。
• 证明使用LSTM的深度强化学习相较于传统的词袋和词组袋基线方法能提升性能。

提出的方法

• 采用深度强化学习框架，将游戏建模为马尔可夫决策过程（MDP），仅以奖励作为反馈信号。
• 采用双流神经网络：使用LSTM编码器将自然语言描述转换为密集向量表征（状态嵌入），并使用前馈网络根据状态嵌入对动作进行评分。
• 使用经验回放和目标网络训练Q网络，采用优先经验回放以提高样本效率。
• 通过时间差分损失函数，使用反向传播端到端联合学习LSTM和Q网络参数。
• 通过迁移学习，使用源游戏世界中预训练的参数初始化LSTM编码器，以加速在结构不同的新游戏世界中的学习。
• 应用t-SNE可视化分析所学词嵌入的语义结构，并使用余弦相似度评估表征质量。

实验结果

研究问题

• RQ1 深度强化学习智能体能否在无显式状态标注的情况下，直接从原始文本描述中学习到有意义的状态表征？
• RQ2 仅使用游戏奖励联合学习策略与表征是否优于使用人工设计的表征（如词袋或词组袋）？
• RQ3 从一个游戏世界中学到的语言表征是否能有效迁移到结构不同的新游戏世界中以加速学习？
• RQ4 所学的向量表征是否能捕捉词语之间的语义关联，例如任务目标与环境物体之间的关联？
• RQ5 在该设置下，经验采样策略的选择（均匀采样 vs. 优先采样）如何影响学习速度与收敛性？

主要发现

• LSTM-DQN模型在幻想MUD游戏中实现了96%的任务完成率，显著优于词袋基线（82%）和随机基线（5%）。
• 采用优先经验采样加速了学习过程，使智能体比使用均匀采样提前约50个训练周期达到最优策略。
• 通过使用源游戏世界中预训练的LSTM参数进行迁移学习，在结构不同的新游戏世界中，使达到最优性能所需的训练周期数减少了近20个。
• 所学词嵌入的t-SNE可视化揭示了连贯的语义子空间，语义相关的词语（如“厨房”、“披萨”、“饥饿”）形成聚类，表明模型学习到了有意义的语义关联。
• 如表2中的最近邻分析所示，语义相似的游戏描述（例如邻近状态）被映射到嵌入空间中相近的位置，表明模型成功地将语义相似性编码到向量空间中。
• 所学表征对语言变异性具有鲁棒性，能够捕捉游戏状态的本质语义，从而在缺乏显式状态观测的情况下实现准确的策略学习。