[论文解读] Learning Action-Transferable Policy with Action Embedding

Yu Chen, Yingfeng Chen+5 more|arXiv (Cornell University)|Sep 5, 2019

Reinforcement Learning in Robotics参考文献 38被引用 10

一句话总结

该论文提出 TRACE，一种用于深度强化学习中迁移学习的新型框架，通过过渡模型学习动作嵌入，实现在状态空间和动作空间不同的任务之间进行策略迁移。通过利用学习到的嵌入所捕获的动作语义相似性，并同时迁移策略和过渡模型，TRACE 显著提升了样本效率，在具有挑战性的跨域设置下也优于基线方法。

ABSTRACT

Transfer learning (TL) is a promising way to improve the sample efficiency of reinforcement learning. However, how to efficiently transfer knowledge across tasks with different state-action spaces is investigated at an early stage. Most previous studies only addressed the inconsistency across different state spaces by learning a common feature space, without considering that similar actions in different action spaces of related tasks share similar semantics. In this paper, we propose a method to learning action embeddings by leveraging this idea, and a framework that learns both state embeddings and action embeddings to transfer policy across tasks with different state and action spaces. Our experimental results on various tasks show that the proposed method can not only learn informative action embeddings but accelerate policy learning.

研究动机与目标

• 为解决在状态空间和动作空间不同的任务之间迁移策略的挑战，其中先前的知识迁移受限于语义和结构上的不匹配。
• 学习有意义的动作嵌入，以基于状态转移中动作的影响，捕捉不同任务之间动作的语义相似性。
• 设计一个统一框架，通过共享的状态和动作嵌入，同时迁移策略和过渡模型，以加速目标任务的学习。
• 通过利用动作嵌入中的跨任务语义知识，提升深度强化学习中的样本效率。

提出的方法

• 训练一个过渡模型，以从当前状态和动作嵌入预测下一状态，从而实现语义上有意义的动作嵌入的学习。
• 通过训练过渡模型以重建状态转移，学习动作嵌入，从而捕捉动作的功能相似性。
• 策略网络在动作嵌入空间中使用最近邻搜索来选择动作，从而实现在不同动作空间之间的可迁移性。
• 将策略模型和过渡模型从源任务迁移到目标任务，通过共享特征学习对齐状态嵌入。
• 采用联合训练过程对齐不同任务之间的状态和动作嵌入，确保在不同任务中功能相似的动作在嵌入空间中被映射到相近位置。
• 该框架命名为 TRACE（Transfer with Action Embeddings），通过利用动作的语义相似性，实现零样本策略迁移。

实验结果

研究问题

• RQ1 能否有效学习动作嵌入，以捕捉在动作空间不同的任务之间动作的语义相似性？
• RQ2 如何利用动作嵌入来提升深度强化学习中策略迁移的效率？
• RQ3 通过共享嵌入同时迁移策略和过渡模型，是否能比仅迁移策略或仅迁移嵌入获得更高的样本效率？
• RQ4 所提出的方法是否能缓解在状态空间和动作空间不同的跨域迁移设置中的负迁移问题？

主要发现

• TRACE 学习到的信息性动作嵌入能够清晰地区分具有相似效果的动作，例如在一款商业 MMORPG 中的 'Silence' 和 'Stun'。
• 在一款商业游戏的战斗任务中，TRACE-PT 的样本效率高于 MIKT，且避免了负迁移，而基线迁移方法（BT）则存在负迁移问题。
• 在跨域迁移中，TRACE-PT 显著优于 BT，后者在复杂任务中因负迁移而表现不佳，尤其是在状态空间和动作空间不同的情况下。
• 消融实验表明，同时迁移策略和过渡模型（TRACE-PT）性能最佳，且动作嵌入在减少适应时间方面发挥了关键作用。
• 过渡模型对对齐贡献显著，因为 TRACE-T（仅迁移过渡模型）在某些情况下表现几乎与 TRACE-PT 相当，表明动作表征对泛化至关重要。
• TRACE-P（仅迁移策略）仍能加速学习，但由于目标任务动作嵌入的错位，性能仍落后于 TRACE-PT。