[论文解读] Learning Shared Representations in Multi-task Reinforcement Learning

Diana Borsa, Thore Graepel+1 more|arXiv (Cornell University)|Mar 7, 2016

Reinforcement Learning in Robotics参考文献 17被引用 13

一句话总结

本文提出了一种多任务强化学习框架，通过改进的拟合Q-迭代（Fitted Q-Iteration）和拟合策略迭代（Fitted Policy Iteration），联合学习多个任务之间共享的价值函数表示。通过利用多任务监督学习技术，该方法实现了数据效率和泛化能力，学习到紧凑且可迁移的状态-动作抽象，即使在样本有限的情况下也能实现快速策略推理。

ABSTRACT

We investigate a paradigm in multi-task reinforcement learning (MT-RL) in which an agent is placed in an environment and needs to learn to perform a series of tasks, within this space. Since the environment does not change, there is potentially a lot of common ground amongst tasks and learning to solve them individually seems extremely wasteful. In this paper, we explicitly model and learn this shared structure as it arises in the state-action value space. We will show how one can jointly learn optimal value-functions by modifying the popular Value-Iteration and Policy-Iteration procedures to accommodate this shared representation assumption and leverage the power of multi-task supervised learning. Finally, we demonstrate that the proposed model and training procedures, are able to infer good value functions, even under low samples regimes. In addition to data efficiency, we will show in our analysis, that learning abstractions of the state space jointly across tasks leads to more robust, transferable representations with the potential for better generalization. this shared representation assumption and leverage the power of multi-task supervised learning. Finally, we demonstrate that the proposed model and training procedures, are able to infer good value functions, even under low samples regimes. In addition to data efficiency, we will show in our analysis, that learning abstractions of the state space jointly across tasks leads to more robust, transferable representations with the potential for better generalization.

研究动机与目标

• 为解决在孤立环境中学习任务的低效性，通过多任务强化学习中任务间的共享结构进行改进。
• 开发一种方法，通过共享表示联合学习多个任务的最优价值函数。
• 通过学习状态-动作空间的可迁移、低维抽象，提升数据效率和泛化能力。
• 证明共享表示可隐式捕捉类似选项的行为，而无需显式子目标定义。

提出的方法

• 将拟合Q-迭代（FQI）和拟合策略迭代（FPI）扩展至使用共享表示，联合学习多个任务的价值函数。
• 将价值函数建模为共享特征与任务特定组件的线性组合，以实现联合优化。
• 借鉴监督学习设置中的多任务学习算法，对共享表示进行正则化并提升泛化能力。
• 使用共享的低维特征空间 $\psi_s$ 表示状态，该空间在训练过程中被逐步优化以捕捉可迁移结构。
• 采用共享表示 $\psi_s$，通过迭代方式更新以反映改进的策略和价值函数。
• 应用离策略学习和经验回放，将数据收集与价值函数学习解耦，提升样本效率。

实验结果

研究问题

• RQ1 多个任务之间的共享表示能否提升强化学习中的数据效率？
• RQ2 标准的值迭代和策略迭代过程如何在共享表示下被适配以联合学习价值函数？
• RQ3 在未显式定义子目标的情况下，共享表示在多大程度上能捕捉可迁移的、类似选项的行为？
• RQ4 与单任务学习相比，联合学习是否能产生更鲁棒和泛化能力更强的策略？
• RQ5 所学习的表示能否泛化到同一环境中未见过的新任务？

主要发现

• 所提方法在每个任务上使用显著更少的样本即实现了良好的策略性能——即使在低样本条件下也表现出数据效率。
• 共享表示使仅使用每项任务200个样本即可推断出类似选项的策略（例如，导航至特定房间），且无需显式子目标定义。
• 该方法成功学习到可在任务间泛化的价值函数，实证结果表明10–30个样本已足够应对较简单的导航任务。
• 共享特征空间捕捉了环境的压缩且可迁移的抽象，其效果类似于层次化选项，但无需预定义子目标。
• 实证结果表明，联合学习过程相比单任务基线方法，能生成更鲁棒和更精细的表示。
• 该方法可泛化到训练期间未见过的新任务，表明共享表示具有强大的可迁移性。