[论文解读] Online Learning for Min Sum Set Cover and Pandora's Box

Evangelia Gergatsouli, Christos Tzamos|arXiv (Cornell University)|Feb 10, 2022

Advanced Bandit Algorithms Research被引用 5

一句话总结

本文提出了一种计算高效的在线学习框架，用于在对抗性价值实现下求解最小和集覆盖问题与潘多拉盒子问题。通过利用凸松弛、在线凸优化和随机化舍入，即使在仅观察到已打开盒子价值的bandit设置下，该框架也能实现常数竞争比的算法并保持低遗憾，同时将先前工作扩展至拟阵约束及一般化情形。

ABSTRACT

Two central problems in Stochastic Optimization are Min Sum Set Cover and Pandora's Box. In Pandora's Box, we are presented with $n$ boxes, each containing an unknown value and the goal is to open the boxes in some order to minimize the sum of the search cost and the smallest value found. Given a distribution of value vectors, we are asked to identify a near-optimal search order. Min Sum Set Cover corresponds to the case where values are either 0 or infinity. In this work, we study the case where the value vectors are not drawn from a distribution but are presented to a learner in an online fashion. We present a computationally efficient algorithm that is constant-competitive against the cost of the optimal search order. We extend our results to a bandit setting where only the values of the boxes opened are revealed to the learner after every round. We also generalize our results to other commonly studied variants of Pandora's Box and Min Sum Set Cover that involve selecting more than a single value subject to a matroid constraint.

研究动机与目标

• 设计一种在T轮中，当价值向量被对抗性选择时，针对最小和集覆盖与潘多拉盒子问题的无遗憾在线学习算法。
• 将现有的随机优化结果推广至在线、非随机设置，其中分布事先未知。
• 开发算法的bandit版本，其中每轮仅揭示已打开盒子的价值。
• 将方法推广至拟阵约束，包括选择k个元素或一个秩-k拟阵基。
• 实现计算高效的算法，具有有界的近似比和相对于最优策略的低遗憾。

提出的方法

• 将每轮的问题表述为整数规划的凸松弛形式，以支持在线优化。
• 应用在线凸优化，计算相对于最优策略遗憾较低的分数解。
• 采用两阶段舍入过程：首先打开高概率盒子，然后根据分数解值从低概率盒子中随机选择。
• 基于成本与最优值比率引入阈值，以过滤高成本盒子，降低价值选择成本。
• 通过线性不等式在LP松弛中施加秩约束，确保拟阵可行性。
• 通过概率分析界定期望搜索成本，表明在拟阵约束下其随k对数增长。

实验结果

研究问题

• RQ1 当价值向量被对抗性选择而非随机抽取时，能否为最小和集覆盖与潘多拉盒子问题设计出常数竞争比的在线算法？
• RQ2 在仅揭示已打开盒子价值的bandit反馈设置下，算法能否保持低遗憾？
• RQ3 该框架能否扩展以处理拟阵约束，如选择秩-k基或k个不同元素？
• RQ4 当与部分自适应策略竞争时，在线学习算法可实现的近似比是多少？
• RQ5 当仅获得部分反馈时性能如何退化，是否仍能实现常数或对数近似？

主要发现

• 所提出的算法在在线潘多拉盒子问题中选择单个盒子时，实现了9.22的近似无遗憾保证。
• 在选择k个不同盒子时，算法实现了与k无关的O(1)近似无遗憾解。
• 在选择秩-k拟阵基时，算法实现了O(log k)近似无遗憾解。
• 该框架在bandit设置下依然有效，仅揭示已打开盒子的价值，同时保持相同的近似保证。
• 该算法计算高效，并实现了近乎紧致的近似比，因为在最小和集覆盖的特殊情况下，改进常数因子已被证明是NP难的。
• 舍入过程确保了在对抗性反馈下，价值选择的期望成本不超过最优成本的O(log k)倍。