[论文解读] Thresholded Lasso Bandit

Kaito Ariu, Kenshi Abe+1 more|arXiv (Cornell University)|Oct 22, 2020

Advanced Bandit Algorithms Research参考文献 20被引用 5

一句话总结

该论文提出了一种无参数的阈值Lasso上下文线性Bandit算法，用于稀疏随机上下文线性Bandit问题。该算法利用带阈值的Lasso方法估计稀疏奖励参数及其支持集，从而实现贪婪的臂选择。尽管数据来自自适应Bandit反馈（非独立同分布），但通过高概率估计保证，该算法在一般情况下实现了$ olimits( olimits d + \sqrt{T})$的更优后悔界，在边界条件（margin condition）下达到$ olimits( olimits d + \log T)$，优于以往方法，且无需事先知道稀疏性参数。

ABSTRACT

In this paper, we revisit the regret minimization problem in sparse stochastic contextual linear bandits, where feature vectors may be of large dimension $d$, but where the reward function depends on a few, say $s_0\ll d$, of these features only. We present Thresholded Lasso bandit, an algorithm that (i) estimates the vector defining the reward function as well as its sparse support, i.e., significant feature elements, using the Lasso framework with thresholding, and (ii) selects an arm greedily according to this estimate projected on its support. The algorithm does not require prior knowledge of the sparsity index $s_0$ and can be parameter-free under some symmetric assumptions. For this simple algorithm, we establish non-asymptotic regret upper bounds scaling as $\mathcal{O}( \log d + \sqrt{T} )$ in general, and as $\mathcal{O}( \log d + \log T)$ under the so-called margin condition (a probabilistic condition on the separation of the arm rewards). The regret of previous algorithms scales as $\mathcal{O}( \log d + \sqrt{T \log (d T)})$ and $\mathcal{O}( \log T \log d)$ in the two settings, respectively. Through numerical experiments, we confirm that our algorithm outperforms existing methods.

研究动机与目标

• 解决在高维稀疏随机上下文线性Bandit中，仅$d$个特征中的少数影响奖励时的后悔最小化问题。
• 设计一种无需事先知道稀疏性指数$s_0$的算法，并在对称假设下实现无参数化设计。
• 通过利用带阈值的Lasso估计，提升支持集恢复和参数估计的准确性，从而改进现有后悔界。
• 建立非渐近的后悔保证，使其在维度$d$和时间$T$上具有有利的缩放特性，尤其在边界条件（margin condition）下表现更优。

提出的方法

• 在每轮中使用带阈值的Lasso框架估计未知奖励参数$\theta$，并识别其稀疏支持集。
• 将$\theta$的阈值估计结果投影到其估计的支持集上，形成用于臂选择的优化参数估计。
• 基于估计的$\theta$与臂特征向量的内积，贪婪地选择臂，以确保探索潜在相关特征。
• 推导出与维度$d$无关的估计误差的高概率界，即使在自适应、非独立同分布的数据采样下也成立。
• 借鉴先前工作（Oh et al., 2021）中的对称性假设，实现无参数化设计并获得紧致的后悔分析。
• 采用有限时间分析，建立一般情况下为$ olimits(\log d + \sqrt{T})$、在边界条件下为$ olimits(\log d + \log T)$的后悔界。

实验结果

研究问题

• RQ1 在自适应、非独立同分布的Bandit反馈中，带阈值的Lasso估计是否能提升支持集恢复和参数估计的准确性？
• RQ2 在高维设置下，所提出的算法是否能实现比现有稀疏线性Bandit方法更紧致的后悔界？
• RQ3 在对称假设下，能否使算法实现无参数化设计，同时保持强后悔保证？
• RQ4 在边界条件（即各臂的奖励分布充分分离）下，该算法表现如何？
• RQ5 在合成数据和真实世界设置下，该算法的实证性能与最先进基线相比如何？

主要发现

• 该算法在一般情况下实现了非渐近后悔上界$ olimits(\log d + \sqrt{T})$，优于先前最先进方法$ olimits(\log d + \sqrt{T \log(dT)})$。
• 在边界条件（margin condition）下，后悔界缩放为$ olimits(\log d + \log T)$，比先前$ olimits(\log T \log d)$的边界更紧致。
• 参数$\theta$的估计误差在一般情况下对后悔的贡献为$ olimits(\sqrt{T})$，在边界条件下为$ olimits(\log T)$，而$ olimits(\log d)$项则源于支持集估计误差。
• 数值实验表明，Thresholded Lasso Bandit在估计精度和累积后悔方面均优于Lasso Bandit、Doubly-Robust Lasso Bandit和Sparsity-Agnostic Lasso Bandit。
• 在最佳臂无法覆盖$\theta$支持集的困难情形下，该算法在不同相关性水平和维度（$d \in \{1000, 2000\}$）下仍表现出比竞争方法更低的后悔。
• 在真实世界R6A数据集上，该算法在平均用户点击数方面优于随机策略和LinUCB，展现出实际有效性。