[论文解读] Maximizing and Satisficing in Multi-armed Bandits with Graph Information

Parth Thaker, Mohit Malu+2 more|arXiv (Cornell University)|Aug 2, 2021

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出了 GRUB 和 ζ-GRUB 算法，用于在具有图结构侧信息的随机多臂赌博机问题中识别最优臂，其中臂的奖励在已知图上是平滑的。通过利用图结构并通过一种新的影响因子度量，这些算法显著降低了样本复杂度——尤其在最优臂与一小部分相似臂难以区分时表现更优——展示了近似最优性，并在经验上优于传统方法。

ABSTRACT

Pure exploration in multi-armed bandits has emerged as an important framework for modeling decision-making and search under uncertainty. In modern applications, however, one is often faced with a tremendously large number of options. Even obtaining one observation per option may be too costly rendering traditional pure exploration algorithms ineffective. Fortunately, one often has access to similar relationships amongst the options that can be leveraged. In this paper, we consider the pure exploration problem in stochastic multi-armed bandits where the similarities between the arms are captured by a graph and the rewards may be represented as a smooth signal on this graph. In particular, we consider the problem of finding the arm with the maximum reward (i.e., the maximizing problem) or one with a sufficiently high reward (i.e., the satisficing problem) under this model. We propose novel algorithms extbf{\algoname{}} (GRaph-based UcB) and $ζ$- extbf{\algoname{}} for these problems and provide a theoretical characterization of their performance which specifically elicits the benefit of the graph side information. We also prove a lower bound on the data requirement, showing a large class of problems where these algorithms are near-optimal. We complement our theory with experimental results that show the benefit of capitalizing on such side information.

研究动机与目标

• 解决在大规模多臂赌博机问题中，采样所有臂不可行时的最优臂识别挑战。
• 利用捕捉臂之间相似性的图结构侧信息，以减少所需样本数量。
• 通过一种新的影响因子度量，形式化图信息的收益，以量化区分臂的有效难度。
• 在图约束下建立样本复杂度的理论下界，证明所提算法的近似最优性。
• 为寻找绝对最优臂成本过高的场景，开发一种满足性变体（ζ-GRUB）。

提出的方法

• 提出 GRUB 算法，一种类似 UCB 的算法，利用图拉普拉斯矩阵和电阻距离，根据臂的影响和连通性来优先选择臂。
• 引入影响因子 𝔛(i,G)，一种依赖于图的度量，基于电阻距离和谱特性，量化区分臂 i 与最优臂的难度。
• 设计 ζ-GRUB 作为满足性变体，当识别出奖励高于阈值 ζ 的臂时停止，从而降低探索成本。
• 使用费舍尔信息矩阵的逆和有效样本数来建模不确定性，其中有效样本数通过归一化计数矩阵的逆来定义。
• 应用谱图理论来界定有效样本数的增长，并在循环采样策略下证明收敛性。
• 推导出理论上的样本复杂度界，其规模与 ∑_{i∈ℋ} 1/Δ²_i 成正比，其中 ℋ 是由影响因子决定的小型臂集合，相较于无图基线方法有显著改进。

实验结果

研究问题

• RQ1 如何利用图结构的侧信息来降低最优臂识别中的样本复杂度？
• RQ2 在多臂赌博机中，图信息收益的合理度量是什么？
• RQ3 当臂奖励在图上平滑时，所提算法能否实现近似最优的样本复杂度？
• RQ4 GRUB 在样本效率方面与传统无图基线算法相比表现如何？
• RQ5 在何种场景下，满足性变体 ζ-GRUB 比最大化变体 GRUB 更为合适？

主要发现

• GRUB 的样本复杂度与 ∑_{i∈ℋ} 1/Δ²_i 成正比，其中对许多图而言 |ℋ| ≪ n，相较于传统方法（样本复杂度为 ∑_{i=1}^n 1/Δ²_i）有显著提升。
• 影响因子 𝔛 捕捉了区分臂与最优臂的有效难度，其对电阻距离的依赖使得图收益的理论分析成为可能。
• 证明了样本复杂度的下界，表明 GRUB 在图结构具有信息量的广泛问题类别中具有近似最优性。
• ζ-GRUB 在满足性场景中成功降低了探索成本，通过在找到足够好的臂后停止，且具有成功概率的理论保证。
• 实验结果表明，与基线算法相比，使用 GRUB 和 ζ-GRUB 在高维或大规模场景中表现出显著的性能提升。
• 理论分析证实，向图中添加边（即增强相似性信息）可提高有效样本数并减少不确定性，这由图扩展下有效样本数的单调性所形式化。