[论文解读] Multi-objective Contextual Multi-armed Bandit Problem with a Dominant Objective.

Cem Tekin, Eralp Turğay|arXiv (Cornell University)|Aug 18, 2017

Advanced Bandit Algorithms Research参考文献 21被引用 3

一句话总结

本文提出了具有主导目标的上下文多臂老虎机（CMAB-DO），一种多目标老虎机框架，其中一项目标主导另一项目标。所提出的MOC-MAB算法在优化主导目标的臂中最大化非主导目标，实现了次线性二维（2D）和Pareto regret，且在合成数据集和真实世界数据集上得到了实证验证。

ABSTRACT

In this paper, we propose a new multi-objective contextual multi-armed bandit problem with two objectives, where one of the objectives dominates the other objective. Unlike single-objective bandit problems in which the learner obtains a random scalar reward for each arm it selects, in the proposed problem, the learner obtains a random reward vector, where each component of the reward vector corresponds to one of the objectives and the distribution of the reward depends on the context that is provided to the learner at the beginning of each round. We call this problem contextual multi-armed bandit with a dominant objective (CMAB-DO). In CMAB-DO, the goal of the learner is to maximize its total reward in the non-dominant objective while ensuring that it maximizes its total reward in the dominant objective. In this case, the optimal arm given a context is the one that maximizes the expected reward in the non-dominant objective among all arms that maximize the expected reward in the dominant objective. First, we show that the optimal arm lies in the Pareto front. Then, we propose the multi-objective contextual multi-armed bandit algorithm (MOC-MAB), and define two performance measures: the 2-dimensional (2D) regret and the Pareto regret. We show that both the 2D regret and the Pareto regret of MOC-MAB are sublinear in the number of rounds. We also compare the performance of the proposed algorithm with other state-of-the-art methods in synthetic and real-world datasets. The proposed model and the algorithm have a wide range of real-world applications that involve multiple and possibly conflicting objectives ranging from wireless communication to medical diagnosis and recommender systems.

研究动机与目标

• 解决在上下文老虎机中一项目标主导另一项目标时的多目标决策问题，反映具有优先级层次的真实世界场景。
• 定义一种新的问题设置——CMAB-DO，其中学习者根据上下文选择臂，并接收一个包含两个分量的向量奖励：一个主导目标和一个非主导目标。
• 将最优臂正式定义为在给定上下文中，使主导目标达到最大期望奖励的所有臂中，非主导目标期望奖励最大的那个臂。
• 设计一种算法，在确保主要目标占优的同时，优化次要目标，平衡探索与利用。
• 使用两种新型 regret 度量评估性能：二维（2D） regret 和 Pareto regret，两者均被证明在轮次数量上为次线性。

提出的方法

• CMAB-DO 问题建模奖励向量，其中每个分量对应两个目标之一，主导目标的期望奖励决定了可行臂的集合。
• 最优臂被定义为在所有使主导目标期望奖励达到最大值的臂中，使非主导目标期望奖励最大的那个臂。
• 所提出的 MOC-MAB 算法采用基于上下文的臂选择策略，并为两个目标维护置信区间以指导探索。
• 该算法计算两个目标的上置信界，并选择在主导目标上最优且在非主导目标上最大化的臂。
• 引入两种性能度量：二维（2D） regret，用于衡量两个目标的累积损失；Pareto regret，用于评估相对于 Paret o 前沿的性能。
• 理论分析证明，MOC-MAB 的二维（2D） regret 和 Pareto regret 均在轮次数量上为次线性，表明其性能收敛至最优。

实验结果

研究问题

• RQ1 当一项目标在优先级上主导另一项目标时，如何形式化一个多目标上下文老虎机问题？
• RQ2 此类问题中的最优臂结构是什么？它与 Paret o 前沿有何关系？
• RQ3 能否设计一种算法，确保主导目标被最大化，同时非主导目标也被优化？
• RQ4 适用于此类多目标老虎机设置的合适性能度量是什么？
• RQ5 所提出的 regret 度量（二维和 Pareto regret）是否随时间保持次线性，表明学习有效？

主要发现

• 在 CMAB-DO 问题中，最优臂位于 Paret o 前沿上，因为它是在主导目标最优的所有臂中，使非主导目标奖励最大的那个。
• MOC-MAB 算法实现了次线性二维（2D） regret，表明两个目标的累积损失随轮次增长的速度慢于线性。
• MOC-MAB 算法还实现了次线性 Pareto regret，表明算法性能随时间收敛至 Paret o 最优前沿。
• 在合成数据集和真实世界数据集上的实证评估表明，MOC-MAB 在平衡主导目标与非主导目标方面优于当前最先进的方法。
• 理论分析证实，二维（2D）和 Pareto regret 均为次线性，验证了该算法在主导约束下的多目标决策中长期有效的性能。