[论文解读] Bilinear Bandits with Low-rank Structure

Kwang-Sung Jun, Rebecca Willett+2 more|arXiv (Cornell University)|Jan 8, 2019

Advanced Bandit Algorithms Research参考文献 38被引用 13

一句话总结

本文提出了具有低秩结构的双线性带Bandit问题，其中奖励由两个特征向量与一个未知的低秩矩阵 $\mathbf{\Theta}^*$ 的双线性函数定义。所提出的ESTR算法首先探索 $\mathbf{\Theta}^*$ 的子空间，然后使用一种正则化线性Bandit方法（LowOFUL）进行精炼，实现了 $\widetilde{\mathcal{O}}((d_1+d_2)^{3/2}\sqrt{rT})$ 的遗憾界，优于朴素线性Bandit约减方法的 $\widetilde{\mathcal{O}}(d_1d_2\sqrt{T})$ 遗憾界。

ABSTRACT

We introduce the bilinear bandit problem with low-rank structure in which an action takes the form of a pair of arms from two different entity types, and the reward is a bilinear function of the known feature vectors of the arms. The unknown in the problem is a $d_1$ by $d_2$ matrix $\mathbfΘ^*$ that defines the reward, and has low rank $r \ll \min\{d_1,d_2\}$. Determination of $\mathbfΘ^*$ with this low-rank structure poses a significant challenge in finding the right exploration-exploitation tradeoff. In this work, we propose a new two-stage algorithm called "Explore-Subspace-Then-Refine" (ESTR). The first stage is an explicit subspace exploration, while the second stage is a linear bandit algorithm called "almost-low-dimensional OFUL" (LowOFUL) that exploits and further refines the estimated subspace via a regularization technique. We show that the regret of ESTR is $\widetilde{\mathcal{O}}((d_1+d_2)^{3/2} \sqrt{r T})$ where $\widetilde{\mathcal{O}}$ hides logarithmic factors and $T$ is the time horizon, which improves upon the regret of $\widetilde{\mathcal{O}}(d_1d_2\sqrt{T})$ attained for a naïve linear bandit reduction. We conjecture that the regret bound of ESTR is unimprovable up to polylogarithmic factors, and our preliminary experiment shows that ESTR outperforms a naïve linear bandit reduction.

研究动机与目标

• 解决奖励矩阵 $\mathbf{\Theta}^*$ 为低秩的双线性Bandit问题中的探索-利用权衡。
• 设计一种能有效利用低秩结构以减少遗憾的算法，相比朴素的线性Bandit约减方法。
• 提供一个遗憾界，其依赖于 $\sqrt{rT}$ 而非 $\sqrt{d_1d_2T}$，反映低秩问题的真实复杂度。
• 开发一种两阶段方法，首先估计 $\mathbf{\Theta}^*$ 的子空间，然后使用正则化线性Bandit方法进行精炼。

提出的方法

• 提出一种名为“探索子空间后精炼”（Explore-Subspace-Then-Refine, ESTR）的两阶段算法，以处理具有低秩结构的双线性Bandit问题。
• 在第一阶段，ESTR执行显式的子空间探索，以估计未知矩阵 $\mathbf{\Theta}^*$ 的低维子空间。
• 在第二阶段，ESTR采用一种新颖的正则化线性Bandit算法——‘近似低维OFUL’（LowOFUL），该算法使用一个定制的正则化矩阵 $\bm{\Lambda}$ 来利用估计出的子空间。
• 正则化矩阵 $\bm{\Lambda}$ 的设计旨在通过强调估计的子空间并抑制高维空间中的噪声来最小化遗憾。
• 该算法利用了 $\mathbf{\Theta}^*$ 的秩 $r \ll \min\{d_1, d_2\}$ 的事实，从而避免了完整矩阵估计的 $d_1d_2$ 维复杂度。
• 理论分析表明，LowOFUL 的遗憾界依赖于维度之和 $d_1 + d_2$ 和秩 $r$，而非完整矩阵的大小。

实验结果

研究问题

• RQ1 是否能够以显著优于朴素线性Bandit约减方法的遗憾，求解具有低秩奖励结构的双线性Bandit问题？
• RQ2 是否可以设计一种两阶段算法，首先探索未知低秩矩阵的子空间，然后高效地进行精炼？
• RQ3 对于具有低秩结构的双线性Bandit问题，可实现的最优遗憾界是什么？是否能通过一种实用算法实现？
• RQ4 在子空间知识未知的前提下，如何在Bandit设置中利用正则化来有效利用子空间信息？

主要发现

• ESTR 算法实现了 $\widetilde{\mathcal{O}}((d_1 + d_2)^{3/2}\sqrt{rT})$ 的遗憾界，优于朴素线性Bandit约减方法的 $\widetilde{\mathcal{O}}(d_1d_2\sqrt{T})$ 遗憾界。
• 遗憾界与 $\sqrt{rT}$ 成比例，反映了低秩问题的真实复杂度，而非完整的 $d_1d_2$ 维度。
• 所提出的 LowOFUL 算法通过精心设计的正则化矩阵 $\bm{\Lambda}$ 有效利用了估计的子空间，在高维设置中显著降低了遗憾。
• 理论分析表明，遗憾界在多对数因子范围内不可改进，表明 ESTR 几乎是最优的。
• 初步实验表明，ESTR 在实际中优于朴素线性Bandit约减方法。
• 该方法适用于现实世界中的推荐系统，如药物-蛋白质相互作用预测、在线配对匹配和时尚搭配等，其中两类实体共同决定奖励。