[论文解读] Community Exploration: From Offline Optimization to Online Learning

Xiaowei Chen, Weiran Huang+2 more|arXiv (Cornell University)|Nov 13, 2018

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出了群体探索问题，通过在不相交群体间分配预算以最大化唯一成员的发现。针对非自适应与自适应设置，提出了最优离线贪心算法，并设计了一种在线学习算法，利用置信上界（UCB）实现对数 regret，当先验反馈被聚合时，可达到常数 regret。

ABSTRACT

We introduce the community exploration problem that has many real-world applications such as online advertising. In the problem, an explorer allocates limited budget to explore communities so as to maximize the number of members he could meet. We provide a systematic study of the community exploration problem, from offline optimization to online learning. For the offline setting where the sizes of communities are known, we prove that the greedy methods for both of non-adaptive exploration and adaptive exploration are optimal. For the online setting where the sizes of communities are not known and need to be learned from the multi-round explorations, we propose an `upper confidence' like algorithm that achieves the logarithmic regret bounds. By combining the feedback from different rounds, we can achieve a constant regret bound.

研究动机与目标

• 将在线广告与社交推广等现实应用建模为具有预算约束的群体探索问题。
• 从离线优化到不确定环境下的在线学习，系统性地研究该问题。
• 设计高效算法，在有限探索预算下最大化唯一成员的发现。
• 为在线学习变体在部分反馈与完全反馈下的情形提供理论 regret 边界。

提出的方法

• 将具有 m 个不相交群体的群体探索问题形式化，每个群体的大小 d_i 已知或未知，总预算为 K。
• 在离线非自适应与自适应设置中应用贪心算法，并通过系统状态转移的结构分析证明其最优性。
• 为在线非自适应与自适应探索设计一种类似 UCB 的算法（CLCB），以最小化 regret。
• 利用多轮反馈实现完全信息反馈，从而实现常数 regret。
• 通过理论分析推导出在线设置下的 O(log T) regret 边界，优于标准组合多臂赌博机（combinatorial MAB）结果。
• 在模拟中采用经验均值估计与截断方法，验证在不同群体规模分布下的性能表现。

实验结果

研究问题

• RQ1 在非自适应与自适应设置下，如何实现最优离线预算分配策略以最大化唯一成员的发现？
• RQ2 当群体规模未知时，如何应用在线学习？可实现怎样的 regret 边界？
• RQ3 是否可以利用前序轮次的反馈来降低在线群体探索中的 regret？
• RQ4 在实践中，贪心策略与按比例或随机分配相比表现如何？
• RQ5 反馈聚合对在线群体探索中 regret 的影响是什么？

主要发现

• 贪心算法在离线非自适应与自适应设置下均达到最优性能，并通过理论证明了其最优性。
• 对于在线非自适应与自适应设置，所提出的 CLCB 算法实现了 O(log T) 的 regret，该结果渐近紧致。
• 当利用前序轮次的反馈时，regret 边界降低至常数，表明算法收敛至最优性能。
• 模拟结果表明，自适应最优方法在预算增加时显著优于非自适应与按比例分配方法。
• 按规模分配的方法能近似接近最优分配，其与最优预算向量的 L1 距离小于 m。
• 基于经验均值的 oracle 导致线性 regret，证实了在在线设置中采用 UCB 式探索的必要性。