[论文解读] An Optimal Algorithm for Online Unconstrained Submodular Maximization

Tim Roughgarden, Joshua R. Wang|arXiv (Cornell University)|Jun 8, 2018

Complexity and Algorithms in Graphs参考文献 26被引用 5

一句话总结

本文提出了首个针对在线无约束子模最大化（在线 USM）的多项式时间无 1/2 损失算法，实现了对事后最佳固定子集的 1/2 近似。该算法使用一种新颖的子程序 USM Balancer，解决了具有 O(√T) 损失的双专家问题，从而在子模最大化固有的不可近似性超过 1/2 的情况下仍能实现最优性能。

ABSTRACT

We consider a basic problem at the interface of two fundamental fields: submodular optimization and online learning. In the online unconstrained submodular maximization (online USM) problem, there is a universe $[n]=\{1,2,...,n\}$ and a sequence of $T$ nonnegative (not necessarily monotone) submodular functions arrive over time. The goal is to design a computationally efficient online algorithm, which chooses a subset of $[n]$ at each time step as a function only of the past, such that the accumulated value of the chosen subsets is as close as possible to the maximum total value of a fixed subset in hindsight. Our main result is a polynomial-time no-$1/2$-regret algorithm for this problem, meaning that for every sequence of nonnegative submodular functions, the algorithm's expected total value is at least $1/2$ times that of the best subset in hindsight, up to an error term sublinear in $T$. The factor of $1/2$ cannot be improved upon by any polynomial-time online algorithm when the submodular functions are presented as value oracles. Previous work on the offline problem implies that picking a subset uniformly at random in each time step achieves zero $1/4$-regret. A byproduct of our techniques is an explicit subroutine for the two-experts problem that has an unusually strong regret guarantee: the total value of its choices is comparable to twice the total value of either expert on rounds it did not pick that expert. This subroutine may be of independent interest.

研究动机与目标

• 设计一种计算高效的在线无约束子模最大化算法，实现次线性损失。
• 弥合目前已知近似比（1/2）与在线设置下可实现损失之间的差距。
• 提供一种多项式时间算法，实现无 1/2 损失，匹配子模最大化问题的最佳可能近似因子。
• 开发一种新的子程序 USM Balancer，为双专家问题提供强损失保证，适用于在线 USM。

提出的方法

• 提出将在线 USM 约化为双专家问题，其中每位专家对应包含或排除单个元素。
• 引入 USM Balancer 算法，这是一种基于状态变量 x 的随机子程序，并根据观测到的收益更新该变量。
• 使用概率 p^t = x / √T 随机选择元素，其中 x 初始化为 (1/2)√T，并限制在 [0, √T] 范围内。
• 通过凸组合方式更新 x，结合观测到的结果 (α^t, β^t)，以平衡来自两位专家的收益。
• 在每一步中对状态变量 x 进行截断，以确保算法的有界性和稳定性。
• 应用标准的加倍技巧，以消除对已知时间范围 T 的依赖。

实验结果

研究问题

• RQ1 能否设计一种多项式时间在线算法，实现无 1/2 损失的无约束子模最大化？
• RQ2 在在线设置下，子模最大化的 1/2 近似因子是否紧致？
• RQ3 能否利用具有强损失保证的双专家问题来解决在线 USM 问题？
• RQ4 计算高效的在线算法在在线 USM 问题中可实现的最小损失是多少？

主要发现

• 所提出的算法实现了 O(n√T) 的 1/2 损失，意味着其期望总收益至少为事后最佳固定子集的 1/2，最多存在一个次线性误差项。
• USM Balancer 子程序在双专家问题中实现了 O(√T) 的损失，该结果在对数因子范围内为最优。
• 对于任何多项式时间在线算法，1/2 近似因子均为最优，因为它与离线问题的不可近似性阈值相匹配。
• 从在线 USM 到双专家问题的约化是紧致的，从而实现了首个针对在线 USM 的最优无 1/2 损失算法。
• 该算法计算高效，每轮仅需多项式时间，而通用在线学习算法在 n 上需要指数时间。