[论文解读] Reinforcement Learning in Large Discrete Action Spaces.

Gabriel Dulac-Arnold, Richard Evans+2 more|arXiv (Cornell University)|Dec 24, 2015

Reinforcement Learning in Robotics参考文献 17被引用 287

一句话总结

本文提出了一种用于大规模离散动作空间的强化学习方法，通过将动作嵌入连续空间并使用近似最近邻搜索实现高效的动作选择。该方法实现了次线性推理复杂度，并具备跨动作的泛化能力，成功扩展到包含多达一百万个动作的任务，而先前的方法在此类任务中均告失效。

ABSTRACT

Being able to reason in an environment with a large number of discrete actions is essential to bringing reinforcement learning to a larger class of problems. Recommender systems, industrial plants and language models are only some of the many real-world tasks involving large numbers of discrete actions for which current methods are difficult or even often impossible to apply. An ability to generalize over the set of actions as well as sub-linear complexity relative to the size of the set are both necessary to handle such tasks. Current approaches are not able to provide both of these, which motivates the work in this paper. Our proposed approach leverages prior information about the actions to embed them in a continuous space upon which it can generalize. Additionally, approximate nearest-neighbor methods allow for logarithmic-time lookup complexity relative to the number of actions, which is necessary for time-wise tractable training. This combined approach allows reinforcement learning methods to be applied to large-scale learning problems previously intractable with current methods. We demonstrate our algorithm’s abilities on a series of tasks having up to one million actions.

研究动机与目标

• 解决将强化学习应用于具有极大规模离散动作空间的环境（如推荐系统和语言模型）的挑战。
• 克服现有方法在动作集规模增大时性能急剧下降且缺乏动作间泛化能力的局限性。
• 通过实现相对于动作数量的对数时间复杂度的动作查找，实现高效且可扩展的训练。
• 利用关于动作的先验知识，构建有意义的连续表示以实现泛化。
• 在包含多达一百万个动作的大规模任务上，验证方法的可行性与性能。

提出的方法

• 利用关于动作结构或语义的先验知识，将离散动作嵌入连续向量空间。
• 训练一个在连续动作嵌入空间上泛化的强化学习智能体，而非针对单个动作进行学习。
• 在推理过程中使用近似最近邻（ANN）搜索，高效检索最具前景的动作。
• 实现相对于动作数量的对数时间复杂度的动作查找，使即使在数百万个动作的情况下训练也变得可行。
• 将动作嵌入与ANN组件整合进标准强化学习框架（如Q-learning或策略梯度方法）中。
• 端到端训练智能体，使用基于梯度的方法联合优化策略与动作嵌入空间。

实验结果

研究问题

• RQ1 动作嵌入结合近似最近邻搜索是否能够实现在大规模离散动作空间中的高效强化学习？
• RQ2 与逐动作学习相比，在连续动作嵌入空间中学习在动作间泛化方面有多大程度的提升？
• RQ3 所提方法的计算复杂度如何随动作集规模的增加而变化？
• RQ4 该方法能否应用于包含多达一百万个动作的真实世界任务？与基线方法相比表现如何？
• RQ5 利用关于动作的先验知识是否显著提升了样本效率与最终性能？

主要发现

• 所提方法成功在包含多达一百万个离散动作的环境中训练了强化学习智能体，这一规模此前对标准强化学习算法而言是不可行的。
• 动作嵌入的使用实现了对语义相似动作的泛化，提升了样本效率与策略性能。
• 近似最近邻搜索将动作查找时间降低至相对于动作数量的对数复杂度，使训练变得可行。
• 与未使用动作嵌入或高效搜索的基线方法相比，该方法在动作空间规模增大时表现更优。
• 将先验知识融入动作嵌入显著加快了收敛速度，并在大规模任务中获得了更高的最终回报。
• 即使在动作空间规模超过标准强化学习方法实用极限的情况下，该方法仍保持了强劲的性能。