[论文解读] Impact of Representation Learning in Linear Bandits

Jiaqi Yang, Wei Hu+2 more|arXiv (Cornell University)|Oct 13, 2020

Advanced Bandit Algorithms Research参考文献 48被引用 4

一句话总结

本文提出了一种新颖的多任务线性Bandit算法，通过利用共享的低维表示来提升遗憾性能。通过在 $T$ 个任务中共享一个 $k \ll d$-维的特征提取器，该方法实现了 $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$ 的遗憾，当 $T$ 较大时，显著优于独立学习的 $\widetilde{O}(T\sqrt{dN})$，且匹配的极小极大下界证实了其在对数因子范围内的最优性。

ABSTRACT

We study how representation learning can improve the efficiency of bandit problems. We study the setting where we play $T$ linear bandits with dimension $d$ concurrently, and these $T$ bandit tasks share a common $k (\ll d)$ dimensional linear representation. For the finite-action setting, we present a new algorithm which achieves $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$ regret, where $N$ is the number of rounds we play for each bandit. When $T$ is sufficiently large, our algorithm significantly outperforms the naive algorithm (playing $T$ bandits independently) that achieves $\widetilde{O}(T\sqrt{d N})$ regret. We also provide an $Ω(T\sqrt{kN} + \sqrt{dkNT})$ regret lower bound, showing that our algorithm is minimax-optimal up to poly-logarithmic factors. Furthermore, we extend our algorithm to the infinite-action setting and obtain a corresponding regret bound which demonstrates the benefit of representation learning in certain regimes. We also present experiments on synthetic and real-world data to illustrate our theoretical findings and demonstrate the effectiveness of our proposed algorithms.

研究动机与目标

• 理论刻画表示学习在序列决策中的优势，特别是在多任务线性Bandit中的表现。
• 设计一种算法，利用相关Bandit任务之间的共享低维表示来减少遗憾。
• 建立紧致的遗憾上界与下界，以证明表示学习带来的效率增益。
• 将框架扩展至无限动作设置，并通过实验验证该方法的有效性。

提出的方法

• 该算法联合学习一个在 $T$ 个任务间共享的 $k$-维特征提取器 $\mathbf{B} \in \mathbb{R}^{d \times k}$，其中每个任务的参数为 $\bm{\theta}_t = \mathbf{B} \mathbf{w}_t$。
• 采用上下文Bandit框架，其中每个任务的奖励关于嵌入上下文 $\mathbf{B}^\top \mathbf{x}_{n,t,a}$ 呈线性关系。
• 该方法采用一种新颖的探索策略，以平衡共享表示的学习与各任务策略的优化。
• 对于无限动作设置，通过核化或连续动作变体扩展算法，遗憾界为 $\widetilde{O}(d^{1.5}k\sqrt{TN} + kT\sqrt{N})$。
• 理论分析结合了集中不等式与信息论下界，以建立极小极大最优性。
• 通过在合成数据和MNIST数据集上的实验验证了表示学习带来的性能增益。

实验结果

研究问题

• RQ1 表示学习是否能严格证明减少多任务线性Bandit中的遗憾？
• RQ2 当任务共享一个共同的低维表示时，其根本遗憾极限是什么？
• RQ3 任务数 $T$ 和表示维数 $k$ 如何影响表示学习带来的性能增益？
• RQ4 在无限动作Bandit设置中，表示学习是否依然有益？
• RQ5 在任务多样性不足时，是否存在负迁移现象？

主要发现

• 所提算法在有限动作设置下实现了 $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$ 的遗憾，当 $T$ 较大时，严格优于独立学习的 $\widetilde{O}(T\sqrt{dN})$。
• 建立了 $\Omega(T\sqrt{kN} + \sqrt{dkNT})$ 的遗憾下界，证明该算法的遗憾在多项式对数因子范围内达到极小极大最优。
• 在无限动作设置下，算法实现了 $\widetilde{O}(d^{1.5}k\sqrt{TN} + kT\sqrt{N})$ 的遗憾，当 $T = \widetilde{\Omega}(dk^2)$ 时，优于朴素的 $O(Td\sqrt{N})$ 基线。
• 在合成数据和MNIST数据上的实验表明，随着 $T$ 增加，每个任务的遗憾下降，验证了在高任务规模下表示学习的优势。
• 当 $T$ 较小时，算法表现出负迁移，表明任务多样性不足会损害性能。
• 超参数缩放 $N_1 = d^{1.5}k\sqrt{N/T}$ 至关重要——仅当 $c=1.5$ 时，算法在实践中才能优于 PEGE 等基线方法。