[论文解读] On the Power of Multitask Representation Learning in Linear MDP

Rui Lü, Gao Huang+1 more|arXiv (Cornell University)|Jun 15, 2021

Reinforcement Learning in Robotics参考文献 38被引用 5

一句话总结

本文提出了对线性马尔可夫决策过程（MDPs）中多任务表征学习的理论分析，表明从 T 个源任务中学习共享的低维表征可显著降低新目标任务的样本复杂度。关键结果表明，新任务所需的样本量按 O(κdH⁴) 缩放，其中 κ 是一种新颖的最小激活特征丰度（LAFA）准则，相较于单任务学习，提供了可证明的样本效率提升。

ABSTRACT

While multitask representation learning has become a popular approach in reinforcement learning (RL), theoretical understanding of why and when it works remains limited. This paper presents analyses for the statistical benefit of multitask representation learning in linear Markov Decision Process (MDP) under a generative model. In this paper, we consider an agent to learn a representation function $ϕ$ out of a function class $Φ$ from $T$ source tasks with $N$ data per task, and then use the learned $\hatϕ$ to reduce the required number of sample for a new task. We first discover a \emph{Least-Activated-Feature-Abundance} (LAFA) criterion, denoted as $κ$, with which we prove that a straightforward least-square algorithm learns a policy which is $ ilde{O}(H^2\sqrt{\frac{\mathcal{C}(Φ)^2 κd}{NT}+\frac{κd}{n}})$ sub-optimal. Here $H$ is the planning horizon, $\mathcal{C}(Φ)$ is $Φ$'s complexity measure, $d$ is the dimension of the representation (usually $d\ll \mathcal{C}(Φ)$) and $n$ is the number of samples for the new task. Thus the required $n$ is $O(κd H^4)$ for the sub-optimality to be close to zero, which is much smaller than $O(\mathcal{C}(Φ)^2κd H^4)$ in the setting without multitask representation learning, whose sub-optimality gap is $ ilde{O}(H^2\sqrt{\frac{κ\mathcal{C}(Φ)^2d}{n}})$. This theoretically explains the power of multitask representation learning in reducing sample complexity. Further, we note that to ensure high sample efficiency, the LAFA criterion $κ$ should be small. In fact, $κ$ varies widely in magnitude depending on the different sampling distribution for new task. This indicates adaptive sampling technique is important to make $κ$ solely depend on $d$. Finally, we provide empirical results of a noisy grid-world environment to corroborate our theoretical findings.

研究动机与目标

• 为了从理论上理解多任务表征学习在强化学习中何时以及为何能提升样本效率。
• 识别出一个关键准则——最小激活特征丰度（LAFA）——该准则决定了多任务线性 MDP 中的样本复杂度。
• 建立通过利用从 T 个源任务中学习到的表征来学习新任务时，样本复杂度可被可证明地降低。
• 证明当 LAFA 准则 κ 较大时，自适应采样对于维持低样本复杂度至关重要。

提出的方法

• 使用最小二乘法从 T 个源任务中学习共享表征 φ，每个任务有 N 个样本。
• 使用学习到的表征 φ̂ 来估计新目标任务的 Q 值，使用 n 个样本。
• LAFA 准则 κ 定义为在目标任务采样分布下，学习到的表征的期望外积矩阵的最小特征值的倒数。
• 利用高斯宽度和次高斯宽度技术推导理论界，以控制表征和价值函数的估计误差。
• 分析表明，次优性差距按 Õ(H²√(κC(Φ)²d/(NT) + κd/n)) 缩放，其中 C(Φ) 衡量表征类的复杂度。
• 该方法可推广至非线性表征，并包含在无限动作设置下对特征提取器的置信区间分析。

实验结果

研究问题

• RQ1 在何种条件下，多任务表征学习可在线性 MDP 中可证明地降低样本复杂度？
• RQ2 目标任务采样分布如何影响多任务表征学习的样本效率？
• RQ3 LAFA 准则 κ 在决定新任务所需样本数量方面起什么作用？
• RQ4 简单的最小二乘法能否通过共享表征学习实现可证明的样本效率提升？
• RQ5 为何当 κ 较大时，自适应采样对于维持低样本复杂度是必要的？

主要发现

• 新任务所需的样本量按 O(κdH⁴) 缩放，远小于单任务学习中的 O(𝒞(Φ)²κdH⁴)，证明了样本复杂度的可证明降低。
• 所学策略的次优性差距被边界 Õ(H²√(κ𝒞(Φ)²d/(NT) + κd/n)) 所限制，表明多任务学习降低了误差界中的主导项。
• LAFA 准则 κ = λ⁻¹ₘᵢₙ(𝔼ₓ∼𝒟[φ̂(x)φ̂(x)ᵀ]) 决定了样本复杂度，且小的 κ 对于实现高样本效率至关重要。
• 当 κ 较大时，即使表征近乎完美，也无法降低样本复杂度，除非使用自适应采样来控制 κ。
• 在噪声网格世界环境中的实证结果证实了理论预测，特别是样本效率对采样分布的敏感性。