[论文解读] Efficient Linear Bandits through Matrix Sketching

Ilja Kuzborskij, Leonardo Cella+1 more|arXiv (Cornell University)|Sep 28, 2018

Advanced Bandit Algorithms Research被引用 9

一句话总结

该论文提出了 SOFUL 和基于草图的线性 Thompson Sampling，作为线性上下文 bandit 问题中 OFUL 和线性 TS 的高效变体，利用 Frequent Directions 矩阵草图技术，将更新时间从 O(d²) 降低至 O(md)，同时将遗憾边界保持在非草图版本的 (1+εₘ)^{3/2} 因子以内，其中 εₘ 是相关矩阵在草图大小 m 之外的谱尾部。

ABSTRACT

We prove that two popular linear contextual bandit algorithms, OFUL and Thompson Sampling, can be made efficient using Frequent Directions, a deterministic online sketching technique. More precisely, we show that a sketch of size $m$ allows a $\mathcal{O}(md)$ update time for both algorithms, as opposed to $Ω(d^2)$ required by their non-sketched versions in general (where $d$ is the dimension of context vectors). This computational speedup is accompanied by regret bounds of order $(1+\varepsilon_m)^{3/2}d\sqrt{T}$ for OFUL and of order $\big((1+\varepsilon_m)d\big)^{3/2}\sqrt{T}$ for Thompson Sampling, where $\varepsilon_m$ is bounded by the sum of the tail eigenvalues not covered by the sketch. In particular, when the selected contexts span a subspace of dimension at most $m$, our algorithms have a regret bound matching that of their slower, non-sketched counterparts. Experiments on real-world datasets corroborate our theoretical results.

研究动机与目标

• 解决 OFUL 和线性 Thompson Sampling 的高计算成本问题，其每次更新需要 O(d²) 时间，原因在于需要计算逆相关矩阵。
• 开发这些算法的高效变体，在显著降低计算开销的同时保持强大的遗憾保证。
• 证明通过 Frequent Directions 进行的矩阵草图可以保留 bandit 学习所需的关键信息，即使在低秩情况下亦然。
• 为草图化算法建立理论遗憾边界，其依赖于相关矩阵的谱衰减特性，以 εₘ 量化。
• 在真实世界数据集上通过实证验证该方法，表明即使在中等草图大小下，性能下降也微乎其微。

提出的方法

• 应用 Frequent Directions —— 一种确定性的在线矩阵草图技术，以维护过去上下文向量相关矩阵的低秩近似。
• 用草图矩阵的逆代替 OFUL 和线性 TS 中的完整逆相关矩阵，从而将更新时间从 O(d²) 降低至 O(md)。
• 通过基于草图的近似，利用正则化最小二乘法（RLS）高效估计最优策略参数。
• 通过将草图引入的误差与尾部特征值之和（εₘ）关联，来界定草图化算法的遗憾，表明膨胀因子为 (1+εₘ)^{3/2}。
• 引入一个高概率遗憾边界，其成立概率至少为 1−δ，并表明当 δ=T⁻¹ 时，期望遗憾仅受对数因子影响。
• 将遗憾分解为探索与利用两部分，分别利用集中不等式和草图的谱性质对两者进行界定。

实验结果

研究问题

• RQ1 能否使用矩阵草图技术在不显著降低遗憾性能的前提下，降低 OFUL 和线性 Thompson Sampling 的计算成本？
• RQ2 相关矩阵的谱衰减如何影响草图化线性 bandit 算法的遗憾？
• RQ3 大小为 m 的草图在多大程度上能够捕捉线性上下文 bandit 中最优策略学习所需的子空间信息？
• RQ4 当真实上下文子空间为低维时，SOFUL（OFUL 的草图变体）是否能实现接近非草图版本的遗憾边界？
• RQ5 与在通过 PCA 确定的最佳 m 维子空间上运行原始算法相比，草图化算法的性能如何？

主要发现

• SOFUL 实现了 Õ((1+εₘ)^{3/2}(m + d ln(1+εₘ)))√T 的遗憾边界，当上下文向量位于低维子空间时，其与非草图 OFUL 的遗憾边界仅相差 (1+εₘ)^{3/2} 因子。
• 草图化线性 Thompson Sampling 变体实现了 Õ((1+εₘ)d)^{3/2}√T 的遗憾边界，其对 εₘ 的依赖与 SOFUL 相同。
• 当所选上下文跨越的子空间维度不超过 m 时，草图化算法的遗憾与非草图版本相当，仅相差对数因子。
• 在六个真实世界数据集上的实验表明，即使草图大小仅为上下文维度的 60%，SOFUL 和草图化线性 TS 仍能保持接近最优的性能，表明其有效捕捉了子空间信息。
• 在若干情况下，SOFUL 和草图化线性 TS 的性能与在最佳 m 维子空间上运行非草图版本相当，证明草图能有效捕捉相关信息。
• 当草图大小为上下文维度的 40% 或 20% 时，性能下降依然微乎其微，尤其在谱尾部 εₘ 较小时，进一步验证了该方法的鲁棒性。