[论文解读] Multi-Objective Generalized Linear Bandits

Shiyin Lu, Guanghui Wang+2 more|arXiv (Cornell University)|May 30, 2019

Advanced Bandit Algorithms Research参考文献 17被引用 5

一句话总结

本文提出了多目标广义线性Bandits（MOGLB），一种上下文Bandits框架，其中奖励为多维且遵循广义线性模型。提出MOGLB-UCB算法，采用在线牛顿法进行参数估计，并利用UCB策略进行探索，以构建Pareto前沿的近似解，实现了$\tilde{O}(d\sqrt{T})$的Pareto regret界，与最优单目标结果一致。

ABSTRACT

In this paper, we study the multi-objective bandits (MOB) problem, where a learner repeatedly selects one arm to play and then receives a reward vector consisting of multiple objectives. MOB has found many real-world applications as varied as online recommendation and network routing. On the other hand, these applications typically contain contextual information that can guide the learning process which, however, is ignored by most of existing work. To utilize this information, we associate each arm with a context vector and assume the reward follows the generalized linear model (GLM). We adopt the notion of Pareto regret to evaluate the learner's performance and develop a novel algorithm for minimizing it. The essential idea is to apply a variant of the online Newton step to estimate model parameters, based on which we utilize the upper confidence bound (UCB) policy to construct an approximation of the Pareto front, and then uniformly at random choose one arm from the approximate Pareto front. Theoretical analysis shows that the proposed algorithm achieves an $ ilde O(d\sqrt{T})$ Pareto regret, where $T$ is the time horizon and $d$ is the dimension of contexts, which matches the optimal result for single objective contextual bandits problem. Numerical experiments demonstrate the effectiveness of our method.

研究动机与目标

• 解决现有多目标Bandits算法中缺乏对上下文信息利用的问题。
• 开发一种利用上下文向量建模多目标奖励的框架，采用广义线性模型。
• 在最小化Pareto regret的同时，确保Pareto最优臂之间的公平性。
• 实现与最优单目标上下文Bandits结果相匹配的 regret 界。
• 为推荐系统和网络路由等实际应用提供理论坚实且实用高效的算法。

提出的方法

• 使用包含$m$个目标和上下文向量$x \in \mathbb{R}^d$的广义线性模型来建模每条臂的奖励向量。
• 假设参数可实现性：$\mathbb{E}[y^i|x] = \mu_i(\theta_i^\top x)$，其中$\theta_i$为未知系数，$\mu_i$为连接函数。
• 采用在线牛顿法的变体，随时间估计模型参数$\theta_i$。
• 应用上置信度边界（UCB）策略，基于对期望奖励的置信区间构造Pareto前沿的近似解。
• 从近似Pareto前沿中均匀随机选择臂，以确保公平性。
• 采用置信集宽度$\gamma_t = c \log{\frac{\det(Z_t)}{\det(Z_1)}}$和正则化$\lambda = \max(1, \kappa/2)$以保证数值稳定性。

实验结果

研究问题

• RQ1 多目标上下文Bandits算法是否能在广义线性奖励模型下实现次线性Pareto regret？
• RQ2 在最小化 regret 的同时，能否保持Pareto最优臂之间的公平性？
• RQ3 所提出的算法是否能达到单目标上下文Bandits的最优 regret 界？
• RQ4 与现有的MOB和MOCB基线相比，该算法在 regret 和Pareto前沿准确度方面表现如何？
• RQ5 该算法能否有效利用上下文信息以提升学习效率？

主要发现

• 所提出的MOGLB-UCB算法实现了$\tilde{O}(d\sqrt{T})$的Pareto regret界，与最优单目标上下文Bandits的界完全一致。
• 数值实验表明，MOGLB-UCB在所有设置下显著优于S-UCB和P-TS，累积Pareto regret更低。
• 实验结果表明，MOGLB-UCB在$t > 1500$后收敛到真实Pareto前沿的速度快于P-UCB和P-TS，表现为更高的Jaccard指数。
• MOGLB-UCB构建的近似Pareto前沿与真实Pareto前沿保持高度接近，表明前沿估计具有高精度。
• 通过从近似Pareto前沿中均匀采样，算法维持了公平性，确保无单一Pareto最优臂被优先选择。
• 该方法对超参数选择具有鲁棒性，尤其对$\lambda$和$\gamma_t$不敏感，性能稳定。