[论文解读] Combinatorial Multi-Objective Multi-Armed Bandit Problem

Doruk Öner, Altuğ Karakurt+2 more|arXiv (Cornell University)|Mar 11, 2018

Advanced Bandit Algorithms Research参考文献 14被引用 3

一句话总结

本文提出了组合多目标多臂赌博机（COMO-MAB）问题，通过将动作建模为一组臂，其奖励是各臂奖励的线性组合，统一了组合与多目标在线学习。提出了一种基于UCB的公平算法COMO-UCB，实现了$O(NL^3ackepsilon T)$的Pareto后悔，优于现有方法，在多用户通信和推荐系统中通过平衡探索、利用与公平性，表现出更优性能。

ABSTRACT

In this paper, we introduce the COmbinatorial Multi-Objective Multi-Armed Bandit (COMO-MAB) problem that captures the challenges of combinatorial and multi-objective online learning simultaneously. In this setting, the goal of the learner is to choose an action at each time, whose reward vector is a linear combination of the reward vectors of the arms in the action, to learn the set of super Pareto optimal actions, which includes the Pareto optimal actions and actions that become Pareto optimal after adding an arbitrary small positive number to their expected reward vectors. We define the Pareto regret performance metric and propose a fair learning algorithm whose Pareto regret is $O(N L^3 \log T)$, where $T$ is the time horizon, $N$ is the number of arms and $L$ is the maximum number of arms in an action. We show that COMO-MAB has a wide range of applications, including recommending bundles of items to users and network routing, and focus on a resource-allocation application for multi-user communication in the presence of multidimensional performance metrics, where we show that our algorithm outperforms existing MAB algorithms.

研究动机与目标

• 为多臂赌博机设置中组合与多目标在线学习缺乏统一框架的问题提供解决方案。
• 定义一种新的性能度量——Pareto后悔，以捕捉多目标情境下因次优动作选择导致的累积损失。
• 设计一种公平学习算法，从超Pareto前沿均匀随机选择动作，以平衡所有目标的性能。
• 在多用户通信、推荐系统和网络路由等实际应用中，证明所提算法的有效性。
• 表明COMO-UCB在多目标设置下相比最先进MAB算法，不仅显著降低后悔，且提升公平性。

提出的方法

• 提出COMO-MAB问题，其中动作为一组臂，奖励是多个目标下各臂奖励的线性组合。
• 定义超Pareto前沿（SPF），以包含在奖励微小增加后变为Pareto最优的动作，解决标准Pareto前沿中零次优间隙的问题。
• 提出COMO-UCB，一种基于UCB的算法，维护每条臂奖励向量的置信上界，并从估计的SPF中均匀随机选择动作。
• 采用多维Hoeffding不等式来界定奖励估计的偏差，并为后悔分析定义多维次优性概念。
• 使用最能支配所选动作的SPF子集来评估后悔，从而实现对累积损失的更紧致边界。
• 在多目标后悔分析中引入技术革新，包括新颖的置信区间和奖励向量之间的支配比较。

实验结果

研究问题

• RQ1 如何在多臂赌博机框架中联合建模组合与多目标学习，以解决具有多个冲突性能指标的实际应用问题？
• RQ2 对于具有零次优间隙但不在Pareto前沿的动作，应采用何种适当的多目标组合赌博机性能度量？
• RQ3 能否设计一种公平学习算法，从超Pareto前沿均匀采样，以平衡所有目标的性能？
• RQ4 在新的COMO-MAB设置下，能否为基于UCB的算法证明后悔界？其随臂的数量和动作大小如何变化？
• RQ5 在实际多目标场景中，所提出的COMO-UCB算法在性能和公平性方面与现有MAB算法相比如何？

主要发现

• COMO-UCB实现了$O(NL^3\log T)$的Pareto后悔，其中$N$为臂的数量，$L$为每项动作的最大臂数，证明了在多目标组合学习中的理论效率。
• 在$T = 10^5$时间步的多用户通信设置中，COMO-UCB有79\%的时间选择Pareto前沿中的动作，显著优于SO-UCB1（37\%）和Pareto UCB1（48\%）。
• COMO-UCB展现出更优的公平性：其在SPF中的9个动作中选择频率几乎相等，而SO-UCB1和LLR则明显偏向某一个动作。
• 模拟结果表明，COMO-UCB的后悔增长显著慢于其他竞争算法，证实其更快收敛至最优动作。
• 对于网络路由，COMO-UCB的期望后悔被界定为$\mathbb{E}[\mathrm{Reg}(T)] \leq \Delta_{\max}\left(\frac{4NL^2(L+1)\log(T\sqrt[4]{2})}{\Delta_{\min}^2} + N + \frac{\pi^2}{3}NL\right)$，表明其随路径长度和网络规模的可扩展性。
• 尽管LLR在后悔方面是最接近的竞争对手，COMO-UCB在后悔和公平性方面仍优于LLR和Pareto UCB1，凸显了多目标赌博机中公平性的重要性。