[论文解读] HyAR: Addressing Discrete-Continuous Action Reinforcement Learning via Hybrid Action Representation

Boyan Li, Hongyao Tang+6 more|arXiv (Cornell University)|Sep 12, 2021

Reinforcement Learning in Robotics被引用 10

一句话总结

本文提出 HyAR，一种混合动作表示框架，通过条件变分自编码器（conditional VAE）和动作嵌入表，学习离散-连续动作空间的紧凑且解耦的潜在空间。通过建模离散与连续组件之间的依赖关系，并利用无监督动力学预测进行表示训练，HyAR 在复杂、高维的混合动作环境中实现了高效的深度强化学习，其样本效率和最终性能均优于先前方法。

ABSTRACT

Discrete-continuous hybrid action space is a natural setting in many practical problems, such as robot control and game AI. However, most previous Reinforcement Learning (RL) works only demonstrate the success in controlling with either discrete or continuous action space, while seldom take into account the hybrid action space. One naive way to address hybrid action RL is to convert the hybrid action space into a unified homogeneous action space by discretization or continualization, so that conventional RL algorithms can be applied. However, this ignores the underlying structure of hybrid action space and also induces the scalability issue and additional approximation difficulties, thus leading to degenerated results. In this paper, we propose Hybrid Action Representation (HyAR) to learn a compact and decodable latent representation space for the original hybrid action space. HyAR constructs the latent space and embeds the dependence between discrete action and continuous parameter via an embedding table and conditional Variantional Auto-Encoder (VAE). To further improve the effectiveness, the action representation is trained to be semantically smooth through unsupervised environmental dynamics prediction. Finally, the agent then learns its policy with conventional DRL algorithms in the learned representation space and interacts with the environment by decoding the hybrid action embeddings to the original action space. We evaluate HyAR in a variety of environments with discrete-continuous action space. The results demonstrate the superiority of HyAR when compared with previous baselines, especially for high-dimensional action spaces.

研究动机与目标

• 为解决现有强化学习方法在处理离散-连续混合动作空间时的局限性，这些方法通常忽略结构依赖性或面临可扩展性问题。
• 开发一种统一、紧凑且语义平滑的潜在表示空间，以保留离散动作与其连续参数之间的依赖关系。
• 通过在表示学习过程中利用无监督动力学预测，提升高维混合动作空间中的样本效率和策略泛化能力。
• 使传统深度强化学习算法能够在学习到的潜在空间中有效运行，同时通过解码回原始动作空间与环境交互。

提出的方法

• HyAR 使用离散动作的嵌入表和条件变分自编码器（VAE）构建混合动作表示，以建模离散动作与其连续参数之间的依赖关系。
• 通过无监督预测环境动力学，使潜在空间具备语义平滑性，从而增强策略泛化能力。
• 采用两阶段训练流程：首先进行热身阶段，收集示范数据以预训练表示；其次在潜在空间中使用标准深度强化学习算法（如 TD3）训练策略。
• 智能体将学习到的潜在嵌入解码回原始混合动作空间，以与环境交互。
• 通过将问题统一在参数化动作马尔可夫决策过程（PAMDP）框架下，该方法支持结构化与非结构化的混合动作空间。

实验结果

研究问题

• RQ1 紧凑且解耦的潜在表示能否有效建模混合动作空间中离散动作与其连续参数之间的依赖关系？
• RQ2 通过无监督动力学预测学习语义平滑表示，是否能提升混合动作强化学习中的样本效率和策略性能？
• RQ3 在高维混合动作任务中，HyAR 与 PADDPG、HPPO 和 PDQN 等现有方法相比，在可扩展性和性能方面表现如何？
• RQ4 表示训练频率的选择在多大程度上影响 HyAR 中的策略学习？

主要发现

• HyAR 在所有评估环境中均优于基线方法，包括 PADDPG、HPPO 和 PDQN，尤其在高维动作空间中表现更优。
• 非固定表示的 HyAR 变体（即在策略训练期间持续更新表示）始终优于固定表示基线，在 Goal 和 Hard Goal 等复杂环境中表现更佳。
• 适度的后续表示更新频率（如每 10 个回合更新一次）可获得最佳性能，兼顾了表示的稳定性与适应性。
• 在包含 8 个离散动作的 Hard Move 环境中，HyAR 显著优于固定表示基线，不仅最终奖励更高，收敛速度也更快。
• 消融实验表明，建模离散与连续组件之间的依赖关系对性能至关重要，忽略该结构的方法性能明显下降。