[论文解读] Reward Maximization Under Uncertainty: Leveraging Side-Observations on Networks

Swapna Buccapatnam, Fang Liu+2 more|arXiv (Cornell University)|Apr 26, 2017

Advanced Bandit Algorithms Research参考文献 13被引用 11

一句话总结

本文提出了一种通过二分图结构实现侧观察的新型多臂赌博机框架，其中动作会揭示关于共享未知量的信息。该文引入了UCB-LP和εt-greedy-LP策略，利用网络位置实现遗憾界与渐近下界在常数因子内的匹配，显著提升了在具有奖励相互依赖性的大规模动作空间中的可扩展性。

ABSTRACT

We study the stochastic multi-armed bandit (MAB) problem in the presence of side-observations across actions that occur as a result of an underlying network structure. In our model, a bipartite graph captures the relationship between actions and a common set of unknowns such that choosing an action reveals observations for the unknowns that it is connected to. This models a common scenario in online social networks where users respond to their friends' activity, thus providing side information about each other's preferences. Our contributions are as follows: 1) We derive an asymptotic lower bound (with respect to time) as a function of the bi-partite network structure on the regret of any uniformly good policy that achieves the maximum long-term average reward. 2) We propose two policies - a randomized policy; and a policy based on the well-known upper confidence bound (UCB) policies - both of which explore each action at a rate that is a function of its network position. We show, under mild assumptions, that these policies achieve the asymptotic lower bound on the regret up to a multiplicative factor, independent of the network structure. Finally, we use numerical examples on a real-world social network and a routing example network to demonstrate the benefits obtained by our policies over other existing policies.

研究动机与目标

• 通过二分图结构建模动作通过共享未知量相互关联的随机多臂赌博机问题。
• 推导出依赖于网络拓扑结构的遗憾渐近下界，其表达为一个线性规划的最优值。
• 设计并分析利用网络结构以最小化遗憾的策略——UCB-LP与εt-greedy-LP。
• 证明这些策略在与网络结构无关的乘法常数因子内达到下界。
• 在真实社交网络与路由网络示例中验证该方法，显示其在性能上显著优于标准赌博机策略。

提出的方法

• 使用二分图建模MAB问题，其中动作与共享未知量（如链路延迟或用户响应度）相连，选择动作可揭示其连接未知量的观测值。
• 通过捕捉基于网络中心性的每动作最优探索速率的线性规划公式，推导出遗憾的渐近下界。
• 提出UCB-LP策略，将均值奖励的上置信界与基于LP解导出的探索速率相结合，以平衡利用与探索。
• 提出εt-greedy-LP策略，采用与LP解成比例的时间可变探索速率，使探索独立于奖励估计。
• 在弱假设下分析遗憾性能，并证明两种策略均以与网络规模或拓扑无关的常数因子达到渐近下界。
• 通过在时间范围上使用加倍调度，将UCB-LP策略扩展至未知时间范围设置，确保遗憾呈对数尺度增长。

实验结果

研究问题

• RQ1 在通过二分图结构组织的侧观察多臂赌博机问题中，遗憾的根本极限（渐近下界）是什么？
• RQ2 如何利用网络结构设计更高效的多臂赌博机探索策略，以应对奖励相互依赖的情况？
• RQ3 基于网络位置自适应调整探索的策略能否实现接近理论下界的遗憾？
• RQ4 在网络感知策略与标准UCB和ε-贪婪策略相比，在具有相互依赖动作的大规模设置中表现如何？
• RQ5 当时间范围未知时，所提策略的遗憾缩放特性如何？

主要发现

• 遗憾的渐近下界被表示为依赖于二分图结构的线性规划最优值，为性能提供了理论基准。
• UCB-LP策略的遗憾与下界在与网络结构无关的乘法常数因子内匹配，证明了其渐近最优性。
• εt-greedy-LP策略同样以常数因子达到下界，尽管其探索不依赖于奖励估计，而仅依赖于网络位置。
• 在未知时间范围设置下，UCB-LP的遗憾被界定为O(log T)项，包含T和Δj的对数因子，外加O(K² log log T)项，显示出良好的可扩展性。
• 在真实社交网络与路由网络上的数值结果表明，UCB-LP与εt-greedy-LP在减少遗憾方面显著优于标准赌博机策略。
• 在大规模动作空间中，由于共享未知量允许动作间高效的信息共享，性能提升最为显著。