[论文解读] Importance weighting without importance weights: An efficient algorithm for combinatorial semi-bandits

Gergely Neu, Bartók Gábor|arXiv (Cornell University)|Mar 17, 2015

Advanced Bandit Algorithms Research参考文献 28被引用 10

一句话总结

本文提出几何重采样（Geometric Resampling, GR），一种计算高效的基于采样的方法，用于在组合半-bandit问题中替代传统的重要性加权。通过将GR与Follow-the-Perturbed-Leader（FPL）算法结合，作者首次实现了在半-bandit反馈下从离线到在线组合优化的高效还原，其高概率 regret 边界与先前低效方法的边界一致。

ABSTRACT

We propose a sample-efficient alternative for importance weighting for situations where one only has sample access to the probability distribution that generates the observations. Our new method, called Geometric Resampling (GR), is described and analyzed in the context of online combinatorial optimization under semi-bandit feedback, where a learner sequentially selects its actions from a combinatorial decision set so as to minimize its cumulative loss. In particular, we show that the well-known Follow-the-Perturbed-Leader (FPL) prediction method coupled with Geometric Resampling yields the first computationally efficient reduction from offline to online optimization in this setting. We provide a thorough theoretical analysis for the resulting algorithm, showing that its performance is on par with previous, inefficient solutions. Our main contribution is showing that, despite the relatively large variance induced by the GR procedure, our performance guarantees hold with high probability rather than only in expectation. As a side result, we also improve the best known regret bounds for FPL in online combinatorial optimization with full feedback, closing the perceived performance gap between FPL and exponential weights in this setting.

研究动机与目标

• 解决在仅能访问生成分布的样本时，传统重要性加权在在线组合优化中计算不可行的问题。
• 开发一种实用且样本高效的估计方法，用于在无法获得闭式表达式（如黑箱生成模型）的场景下估计重要性权重。
• 通过FPL实现首个计算高效的从离线到在线组合优化的还原，适用于半-bandit反馈设置。
• 为FPL在组合半-bandit中的表现提供高概率 regret 保证，从而弥合其与指数权重方法之间的性能差距。

提出的方法

• 提出一种新颖的重采样方案——几何重采样（GR），仅利用底层分布的独立同分布样本即可估计重要性权重。
• 将GR应用于Follow-the-Perturbed-Leader（FPL）算法，用重采样估计值替代显式的重要性权重。
• 在FPL中使用指数扰动以诱导探索，GR则提供对隐式采样分布下期望损失的一致估计。
• 基于指数随机变量的顺序统计量进行理论分析，以界定d个独立同分布指数变量中最大m个值的期望和。
• 通过局部鞅集中不等式推导出高概率 regret 边界，特别应用了一种改进的适用于鞅差分的伯恩斯坦型不等式。
• 引入一个关键引理，表明在扰动损失下选择某一动作的概率关于损失向量是单调的，从而支持不同损失配置之间的比较。

实验结果

研究问题

• RQ1 我们能否在不依赖显式重要性权重的情况下，实现组合半-bandit中的高概率 regret 边界？
• RQ2 当仅能访问生成分布的样本时，是否可能设计出一种计算高效的替代重要性加权的方法？
• RQ3 能否通过一种新颖的重采样机制，使FPL算法在组合半-bandit设置中既高效又有效？
• RQ4 所提出的方法是否能弥合FPL与全反馈设置下指数权重方法在在线组合优化中的性能差距？
• RQ5 重采样引入的方差是否可被控制，从而仍能获得强的高概率 regret 保证？

主要发现

• 所提出的几何重采样（GR）方法实现了首个在半-bandit反馈下从离线到在线组合优化的计算高效还原。
• 所得到的FPL+GR算法在重采样引入高方差的情况下，仍实现了与先前低效方法性能相当的高概率 regret 边界。
• 该方法首次为全反馈设置下的在线组合优化中FPL提供了高概率 regret 保证，从而弥合了其与指数权重方法之间的感知性能差距。
• 理论分析表明，d个独立同分布指数随机变量中m个最大顺序统计量的期望和被限定为 $ m( ext{log}(d/m) + 1) $。
• FPL+GR的 regret 边界呈 $ O( ext{poly}(m) ext{polylog}(d) ext{polylog}(T)) $ 阶，与该设置下的已知最优率一致。
• 该方法仅在非负损失向量下有效，如引理8所示，其依赖关系限制了分析范围至非负分量。