[论文解读] Comprehensible Context-driven Text Game Playing

Xusen Yin, Jonathan May|arXiv (Cornell University)|May 6, 2019

Topic Modeling参考文献 20被引用 11

一句话总结

该论文提出了一种基于CNN的DQN智能体，结合位置嵌入和依存句法解析重排，以加速在Zork等文字类游戏中的训练并提升性能。通过使用最大池化CNN作为自动注意力机制，并结合重复失败尝试惩罚的奖励塑造方法，该方法在100万步（约10小时）内达到最先进性能，相比基于LSTM的方法将收敛时间缩短了一个数量级。

ABSTRACT

In order to train a computer agent to play a text-based computer game, we must represent each hidden state of the game. A Long Short-Term Memory (LSTM) model running over observed texts is a common choice for state construction. However, a normal Deep Q-learning Network (DQN) for such an agent requires millions of steps of training or more to converge. As such, an LSTM-based DQN can take tens of days to finish the training process. Though we can use a Convolutional Neural Network (CNN) as a text-encoder to construct states much faster than the LSTM, doing so without an understanding of the syntactic context of the words being analyzed can slow convergence. In this paper, we use a fast CNN to encode position- and syntax-oriented structures extracted from observed texts as states. We additionally augment the reward signal in a universal and practical manner. Together, we show that our improvements can not only speed up the process by one order of magnitude but also learn a superior agent.

研究动机与目标

• 解决基于LSTM的DQN智能体在文字类游戏中训练收敛缓慢的问题，其训练时间可能长达数十天。
• 通过用更快、更具上下文感知能力的CNN替代LSTM编码器，提升训练效率和最终性能。
• 通过依存句法解析对上下文句子进行重排，将句法上相关的元素聚集在一起，以增强状态表示。
• 通过一种新颖的负奖励惩罚机制，减少因重复失败动作导致的探索低效性。
• 证明结合架构改进与奖励塑造，可在复杂文字类环境中实现更快、更有效的学习。

提出的方法

• 使用带有最大池化的卷积神经网络（CNN）作为文本编码器，从游戏上下文句子中提取位置和句法导向的特征。
• 应用位置嵌入以保留轨迹中的序列顺序，提升模型对上下文流动的理解。
• 使用依存句法解析器对上下文句子进行重排，使句法上相关的词语在空间上更接近，从而增强特征学习。
• 引入一种奖励塑造技术，对重复的负面动作尝试累计施加-0.1的惩罚，以抑制冗余行为。
• 将CNN编码器与深度Q网络（DQN）框架结合，训练一个端到端的文字类游戏智能体。
• 利用最大池化作为自动注意力的一种形式，使模型能够在不使用显式注意力机制的情况下聚焦于上下文中的关键短语。

实验结果

研究问题

• RQ1 基于CNN的文本编码器是否能在训练速度和最终性能上超越LSTM？
• RQ2 通过依存句法解析对上下文句子进行句法重排，对学习效率和收敛时间有何影响？
• RQ3 基于重复失败动作的奖励塑造在多大程度上能提升训练稳定性并减少探索低效性？
• RQ4 将位置嵌入与CNN编码器结合，是否能比标准序列编码产生更好的状态表示？
• RQ5 像CNN这样快速且非循环的编码器，是否能在复杂文字类游戏中实现与LSTM等循环模型相当或更优的性能？

主要发现

• 采用最大池化和位置嵌入的基于CNN的DQN智能体在100万次训练步内于Zork游戏中达到最终得分40分，与最先进性能持平。
• 训练时间缩短了一个数量级——在约10小时内达到SOTA结果，而基于LSTM的DQN方法则需数十天。
• 依存句法解析重排使收敛时间减半，结合奖励塑造后，训练步数从约100万降至约50万。
• 重复失败尝试惩罚机制将冗余动作的比例从8.73%降至3.51%，显著提升了训练效率。
• CNN中的最大池化层作为隐式的自动注意力机制，使模型能够聚焦于上下文中的关键语义成分。
• CNN编码、依存句法解析、位置嵌入和奖励塑造的结合产生了协同增益，优于先前的基于LSTM的方法和仅使用CNN的方法。