[论文解读] Low-Rank Generalized Linear Bandit Problems

Yangyi Lu, Amirhossein Meisami+1 more|arXiv (Cornell University)|Jun 4, 2020

Advanced Bandit Algorithms Research参考文献 23被引用 4

一句话总结

该论文提出了 LowLOC 和 LowGLOC 两种高效算法，用于解决低秩广义线性 bandit 问题，通过结合在线到置信集转换与低秩矩阵覆盖上的指数加权平均预测器，实现了 $×sim((d_1+d_2)^{3/2}ackslashsqrt{rT})$ 的遗憾。当真实参数矩阵 $ackslashTheta^*$ 为低秩时，该方法在标准线性 bandit 遗憾界基础上实现改进，且遗憾界与推测的下界一致，表明在温和假设下具有最优性。

ABSTRACT

In a low-rank linear bandit problem, the reward of an action (represented by a matrix of size $d_1 imes d_2$) is the inner product between the action and an unknown low-rank matrix $Θ^*$. We propose an algorithm based on a novel combination of online-to-confidence-set conversion~\citep{abbasi2012online} and the exponentially weighted average forecaster constructed by a covering of low-rank matrices. In $T$ rounds, our algorithm achieves $\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$ regret that improves upon the standard linear bandit regret bound of $\widetilde{O}(d_1d_2\sqrt{T})$ when the rank of $Θ^*$: $r \ll \min\{d_1,d_2\}$. We also extend our algorithmic approach to the generalized linear setting to get an algorithm which enjoys a similar bound under regularity conditions on the link function. To get around the computational intractability of covering based approaches, we propose an efficient algorithm by extending the "Explore-Subspace-Then-Refine" algorithm of~\citet{jun2019bilinear}. Our efficient algorithm achieves $\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$ regret under a mild condition on the action set $\mathcal{X}$ and the $r$-th singular value of $Θ^*$. Our upper bounds match the conjectured lower bound of \cite{jun2019bilinear} for a subclass of low-rank linear bandit problems. Further, we show that existing lower bounds for the sparse linear bandit problem strongly suggest that our regret bounds are unimprovable. To complement our theoretical contributions, we also conduct experiments to demonstrate that our algorithm can greatly outperform the performance of the standard linear bandit approach when $Θ^*$ is low-rank.

研究动机与目标

• 解决现有低秩 bandit 算法依赖计算上不可行的矩阵覆盖所带来的低效问题。
• 在对动作集和 $\backslashTheta^*$ 的假设最少的前提下，为低秩广义线性 bandit 问题设计一个遗憾最优的算法。
• 将在线到置信集转换框架扩展至低秩矩阵设置，以获得更优的遗憾保证。
• 提供一种高效且可实现的算法，其遗憾界与计算开销较大的基线方法一致。
• 通过将其与已知的稀疏和低秩 bandit 问题中的下界关联，验证所推导的遗憾界不可再改进。

提出的方法

• 设计一种新颖的在线预测器，通过在低秩矩阵的有限覆盖上使用指数加权平均预测器，解决在线低秩预测问题。
• 应用 Abbasi-Yadkori 等人（2012）提出的在线到置信集转换框架，将在线预测遗憾转化为对 $\backslashTheta^*$ 的置信集。
• 通过在每轮中在置信集中最大化内积 $\langle X_t, \hat{\Theta}_t \rangle$，实现乐观的动作选择。
• 通过为具有正则性条件的链接函数设计新的在线到置信集转换方法，将该方法扩展至广义线性 bandit 设置。
• 提出一种高效变体 Low-Rank-Explore-Subspace-Then-Refine，通过适配 Jun 等人（2019）的“探索子空间-然后精炼”框架，避免对完整矩阵覆盖的需求。
• 采用两阶段方法：首先探索 $\backslashTheta^*$ 的低维子空间，然后通过带正则化的梯度优化方法精炼估计。

实验结果

研究问题

• RQ1 我们能否在利用 $\Theta^*$ 的低秩结构的同时，实现关于 $d_1 d_2$ 的亚线性遗憾，从而在线性 bandit 问题中实现更优性能？
• RQ2 能否设计一种计算高效的低秩 bandit 算法，使其遗憾界与计算开销较大的覆盖方法一致？
• RQ3 所推导的遗憾界 $\backslashwidetilde{O}((d_1+d_2)^{3/2}\backslashsqrt{rT})$ 是否与该类问题的推测下界一致？
• RQ4 所提算法的性能如何随 $\Theta^*$ 的最小正奇异值 $\omega_r$ 变化？
• RQ5 在线到置信集转换框架能否有效扩展至具有低秩参数的广义线性 bandit 设置？

主要发现

• 所提出的 LowLOC 算法在低秩线性 bandit 问题中实现了 $\backslashwidetilde{O}((d_1+d_2)^{3/2}\backslashsqrt{rT})$ 的遗憾，当 $r \ll \min\{d_1,d_2\}$ 时，优于标准的 $\backslashwidetilde{O}(d_1d_2\backslashsqrt{T})$ 遗憾界。
• LowGLOC 算法在链接函数满足正则性条件的前提下，将该结果扩展至广义线性 bandit 设置，实现了相同的遗憾界。
• 遗憾界与 Jun 等人（2019）针对低秩 bandit 问题子类推测的下界一致，表明其最优性。
• 理论分析表明，稀疏线性 bandit 问题中已有的下界强烈暗示所推导的遗憾界不可再改进。
• 实验结果表明，当 $\Theta^*$ 为低秩时，所提算法显著优于标准线性 bandit 基线方法（如 OFUL）。
• 敏感性分析确认，随着 $\Theta^*$ 的最小正奇异值 $\omega_r$ 增大，累积遗憾减小，验证了理论中对 $\omega_r^{-1}$ 的依赖关系。