[论文解读] Joint State-Action Embedding for Efficient Reinforcement Learning

Paul J. Pritz, Liang Ma+1 more|arXiv (Cornell University)|Oct 9, 2020

Reinforcement Learning in Robotics被引用 2

一句话总结

本文提出了一种联合状态-动作嵌入方法，通过基于模型的方法学习状态和动作的共享表示，从而在强化学习中提升泛化能力。通过同时捕捉两种空间中的相似性，该方法在具有大规模状态空间和动作空间的离散领域中，相较于最先进模型表现出更优性能，其有效性已在游戏和推荐系统环境上得到验证。

ABSTRACT

While reinforcement learning has achieved considerable successes in recent years, state-of-the-art models are often still limited by the size of state and action spaces. Model-free reinforcement learning approaches use some form of state representations and the latest work has explored embedding techniques for actions, both with the aim of achieving better generalization and applicability. However, these approaches consider only states or actions, ignoring the interaction between them when generating embedded representations. In this work, we propose a new approach for jointly embedding states and actions that combines aspects of model-free and model-based reinforcement learning, which can be applied in both discrete and continuous domains. Specifically, we use a model of the environment to obtain embeddings for states and actions and present a generic architecture that uses these to learn a policy. In this way, the embedded representations obtained via our approach enable better generalization over both states and actions by capturing similarities in the embedding spaces. Evaluations of our approach on several gaming and recommender system environments show it significantly outperforms state-of-the-art models in discrete domains with large state/action space, thus confirming the efficacy of joint embedding and its overall superior performance.

研究动机与目标

• 解决现有强化学习模型仅孤立地嵌入状态或动作，忽略其交互作用的局限性。
• 通过联合建模状态和动作表示，提升大规模离散状态空间和动作空间中的泛化能力。
• 通过利用环境模型生成嵌入，结合无模型与基于模型的学习方法。
• 开发一种通用架构，利用联合嵌入在多样化环境中学习有效策略。
• 评估联合嵌入在游戏和推荐系统等实际应用中的有效性。

提出的方法

• 该方法利用环境模型生成状态和动作的嵌入表示。
• 提出一种通用神经架构，以联合状态-动作嵌入作为输入来学习策略。
• 嵌入空间捕捉状态-动作对之间的语义相似性，从而实现更好的泛化能力。
• 通过共享表示学习，该方法可适用于离散和连续领域。
• 模型端到端训练，嵌入在策略学习过程中联合优化。
• 该方法利用状态与动作之间的交互，生成比单模态方法更具信息量的表示。

实验结果

研究问题

• RQ1 与仅嵌入状态或仅嵌入动作的方法相比，联合状态-动作嵌入是否能提升强化学习中的泛化能力？
• RQ2 在具有大规模离散状态空间和动作空间的环境中，联合嵌入方法表现如何？
• RQ3 在嵌入空间中捕捉状态-动作相似性在多大程度上能提升策略学习效率？
• RQ4 所提出的方法在游戏和推荐系统等多样化领域中是否有效？
• RQ5 在样本效率和最终性能方面，该联合嵌入架构与最先进模型相比表现如何？

主要发现

• 在具有大规模状态空间和动作空间的离散领域中，联合状态-动作嵌入方法显著优于最先进模型。
• 通过共享表示捕捉状态空间和动作空间中的相似性，该方法实现了更好的泛化能力。
• 在游戏和推荐系统环境中的评估结果证实了联合嵌入策略的有效性。
• 所提出的架构相较于孤立嵌入状态或动作的模型表现出更优性能。
• 结果表明，在嵌入空间中建模状态与动作之间的交互，能带来更有效的策略学习。
• 该方法在离散和连续领域中均保持强劲性能，表明其具有广泛的适用性。