[论文解读] A Simple Unified Framework for High Dimensional Bandit Problems

Wenjie Li, Adarsh Barik+1 more|arXiv (Cornell University)|Feb 18, 2021

Advanced Bandit Algorithms Research参考文献 16被引用 5

一句话总结

本文提出了一种统一的探索结构再提交（ESTC）算法，用于具有低维结构（如稀疏性、低秩或组稀疏性）的高维随机多臂老虎机问题。通过利用结构假设来指导参数估计，该框架在LASSO老虎机、低秩矩阵老虎机、组稀疏矩阵老虎机以及一种新型多智能体LASSO老虎机设置中，实现了对维度的对数依赖关系和最优后悔边界。

ABSTRACT

Stochastic high dimensional bandit problems with low dimensional structures are useful in different applications such as online advertising and drug discovery. In this work, we propose a simple unified algorithm for such problems and present a general analysis framework for the regret upper bound of our algorithm. We show that under some mild unified assumptions, our algorithm can be applied to different high dimensional bandit problems. Our framework utilizes the low dimensional structure to guide the parameter estimation in the problem, therefore our algorithm achieves the comparable regret bounds in the LASSO bandit, as well as novel bounds in the low-rank matrix bandit, the group sparse matrix bandit, and in a new problem: the multi-agent LASSO bandit.

研究动机与目标

• 解决现有高维老虎机问题中缺乏统一算法框架的问题，这些问题具有低维结构。
• 克服先前研究的局限性，即尽管在LASSO老虎机中可实现对数依赖关系，但其结果通常表现出对维度的多项式依赖。
• 开发一个适用于多种高维老虎机设置的通用后悔分析框架，且在温和统一的假设下成立。
• 将结构化老虎机算法的适用范围扩展到新问题，如多智能体LASSO老虎机，并提供可证明的性能保证。
• 为低秩和组稀疏矩阵老虎机提供新颖且紧致的后悔边界，证明其对维度具有对数依赖关系。

提出的方法

• 提出ESTC算法，将结构信息的探索与参数估计的利用分离开来。
• 在探索阶段定义两个关键的高概率事件，以在温和假设下确保后悔有界。
• 使用结构化正则化（如L1、核范数、组Lasso）来在参数估计中利用低维结构。
• 应用一种通用的后悔分解技术，通过参数偏差与噪声项的组合来界定估计误差。
• 利用集中不等式和结构假设（如稀疏性、低秩、组稀疏性）推导出与维度无关的后悔边界。
• 通过在多个智能体之间建模共享参数结构的组稀疏性，提出多智能体LASSO老虎机的新扩展。

实验结果

研究问题

• RQ1 能否设计一个单一、简单的算法框架，以统一处理具有多样化低维结构的高维老虎机问题？
• RQ2 该统一框架是否在不同问题类型中均实现了对维度具有对数依赖关系的后悔边界？
• RQ3 该框架能否扩展到新问题（如多智能体LASSO老虎机）的同时，仍保持强理论保证？
• RQ4 在温和统一假设下推导出的后悔边界是否比先前工作更紧致，尤其是在低秩和组稀疏设置中？
• RQ5 理论分析能否通过在多种老虎机问题变体上的实验得到经验验证？

主要发现

• ESTC算法在LASSO老虎机中实现了对维度具有对数依赖关系的后悔边界，与当前最先进结果一致。
• 对于低秩矩阵老虎机，该框架实现了$\mathcal{O}(r^{1/3}T^{2/3}\sqrt{\log T}\log((d_1+d_2)T))$的后悔边界，对$d_1 + d_2$具有对数依赖关系。
• 在组稀疏矩阵老虎机中，后悔边界按$\mathcal{O}(d_2^{1/3}s^{1/3}T^{2/3}\sqrt{\log(d_1T)})$增长，对$d_1$具有对数依赖关系。
• 该框架首次为组稀疏矩阵老虎机和多智能体LASSO老虎机提供了可证明最优的后悔边界。
• 实验验证了理论边界，显示累积后悔的增长趋势与推导出的上界预测一致，涵盖所有问题类型。
• 作者更正了Hao等人（2020a）先前发表的错误，确认在LASSO老虎机边界中缺失的$\sqrt{\log(dT)}$项是证明错误所致。