[论文解读] High-Dimensional Sparse Linear Bandits

Botao Hao, Tor Lattimore+1 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文在数据匮乏的高维稀疏线性 bandit 问题中，建立了维度无关的 minimax regret 下界 $Ω(n^{2/3})$，其中时间跨度 $n$ 小于环境维度。此外，本文提出了一种 explore-then-commit 算法，实现了几乎匹配的上界，证明在特征分布条件良好时，$Θ(n^{2/3})$ 是最优的 regret 速率，且在更强的信号假设下，额外获得了 $O(\sqrt{n})$ 的上界。

ABSTRACT

Stochastic linear bandits with high-dimensional sparse features are a practical model for a variety of domains, including personalized medicine and online advertising. We derive a novel $\Omega(n^{2/3})$ dimension-free minimax regret lower bound for sparse linear bandits in the data-poor regime where the horizon is smaller than the ambient dimension and where the feature vectors admit a well-conditioned exploration distribution. This is complemented by a nearly matching upper bound for an explore-then-commit algorithm showing that that $\Theta(n^{2/3})$ is the optimal rate in the data-poor regime. The results complement existing bounds for the data-rich regime and provide another example where carefully balancing the trade-off between information and regret is necessary. Finally, we prove a dimension-free $O(\sqrt{n})$ regret upper bound under an additional assumption on the magnitude of the signal for relevant features.

研究动机与目标

• 在时间跨度小于环境维度时，为稀疏线性 bandit 建立维度无关的 minimax regret 下界。
• 分析高维、数据匮乏设置下信息收集与 regret 之间的根本权衡。
• 提出并分析一种 explore-then-commit 算法，使其几乎匹配所推导出的下界。
• 将分析扩展至更强信号假设的情形，从而获得更紧致的 $O(\sqrt{n})$ regret 上界。

提出的方法

• 在假设探索分布条件良好的前提下，为数据匮乏环境中的稀疏线性 bandit 推导出 $\Omega(n^{2/3})$ 的 minimax regret 下界。
• 提出一种 explore-then-commit 算法，通过平衡探索与利用，实现几乎匹配的上界。
• 利用高维统计与信息论工具，刻画在数据有限条件下稀疏线性模型学习的根本极限。
• 在对相关特征信号强度增加额外假设的前提下，分析 regret，从而导出更紧致的 $O(\sqrt{n})$ 上界。
• 证明在数据匮乏环境中，$n^{2/3}$ 速率是最优的，与数据丰富环境中的已知结果形成对比。

实验结果

研究问题

• RQ1 当时间跨度小于环境维度时，高维稀疏线性 bandit 的根本 minimax regret 速率是什么？
• RQ2 在数据匮乏环境中，explore-then-commit 策略能否实现接近最优的 regret？
• RQ3 在高维稀疏线性 bandit 中，良好条件的探索分布如何影响 regret 上界？
• RQ4 在何种信号强度假设下，regret 上界可提升至 $O(\sqrt{n})$？

主要发现

• 本文在数据匮乏环境中为稀疏线性 bandit 建立了维度无关的 minimax regret 下界 $\Omega(n^{2/3})$，其中 $n$ 为时间跨度，且环境维度大于 $n$。
• explore-then-commit 算法实现了几乎匹配的上界，证明在特征分布条件良好时，$\Theta(n^{2/3})$ 是最优的 regret 速率。
• 研究结果表明，在高维、数据稀缺的设置中，平衡信息收集与 regret 至关重要，其最优速率与数据丰富环境有显著不同。
• 在对相关特征信号强度增加额外假设的前提下，regret 被限制在 $O(\sqrt{n})$，该上界比 $n^{2/3}$ 更为紧致。