[论文解读] Deep Reinforcement Learning with an Action Space Defined by Natural Language

Ji He, Jianshu Chen+5 more|arXiv (Cornell University)|Nov 13, 2015

Topic Modeling被引用 5

一句话总结

本文提出了一种新型深度强化学习架构——深度强化相关网络（DRRN），该架构使用自然语言定义文本游戏中的动作。通过为状态和动作学习高层嵌入表示，并采用内积或神经网络等交互函数来近似Q函数，DRRN有效处理了自然语言特有的大规模、稀疏且无界的动作空间，在两个基准文本游戏上实现了优于现有深度Q学习模型的性能表现。

ABSTRACT

In this paper, we propose the deep reinforcement relevance network (DRRN), a novel deep architecture, to design a model for handling an action space characterized using natural language with applications to text-based games. For a particular class of games, a user must choose among a number of actions described by text, with the goal of maximizing long-term reward. In these games, the best action is typically what fits the current situation best (modeled as a state in the DRRN), also described by text. Because of the exponential complexity of natural language with respect to sentence length, there is typically an unbounded set of unique actions. Even with a constrained vocabulary, the action space is very large and sparse, posing challenges for learning. To address this challenge, the DRRN extracts separate high-level embedding vectors from the texts that describe states and actions, respectively, using a general interaction function, such as inner product, bilinear, and DNN interaction, between these embedding vectors to approximate the Q-function. We evaluate the DRRN on two popular text games, showing superior performance over other deep Q-learning architectures.

研究动机与目标

• 解决由自然语言定义的无界稀疏动作空间所带来的学习挑战。
• 设计一种能够处理状态和动作描述的自然语言表示的深度强化学习模型。
• 通过利用语义嵌入和交互函数进行Q值近似，提升文本游戏中的学习效率与性能。
• 在具有复杂自然语言动作空间的真实世界文本游戏基准上评估模型的有效性。

提出的方法

• DRRN架构使用神经网络为状态和动作描述分别学习独立的高层嵌入向量。
• 通过状态和动作嵌入之间的交互函数（如内积、双线性或深度神经网络）来近似Q函数。
• 该交互函数使模型能够在无需预定义动作集合的情况下，计算给定状态下某一动作的期望回报。
• 模型通过使用经验回放和目标网络的深度Q学习方法进行端到端训练，以稳定学习过程。
• 通过将每个自然语言动作视为唯一的嵌入向量，该架构支持动态且无界的动作空间。

实验结果

研究问题

• RQ1 如何在由自然语言定义的无界动作空间环境中有效应用深度强化学习？
• RQ2 状态和动作描述的语义嵌入是否能改善文本游戏中Q值的近似效果？
• RQ3 在状态和动作嵌入之间使用交互函数是否能带来比标准深度Q网络更优的学习效率与性能？
• RQ4 DRRN在样本效率和最终性能方面与现有深度Q学习模型相比表现如何？

主要发现

• DRRN在两个流行的文本游戏基准上优于其他深度Q学习架构，表现出更优的学习稳定性和最终性能。
• 尽管动作空间具有稀疏性和无界性，状态与动作嵌入之间的交互函数仍能实现有效的Q值近似。
• 通过学习到的嵌入表示，模型成功捕捉了状态描述与潜在动作之间的语义相关性，从而实现更优性能。
• 该架构无需固定动作词汇表，即可在多样化的自然语言动作中实现有效泛化。