[论文解读] Greed is Still Good: Maximizing Monotone Submodular+Supermodular Functions

Wenruo Bai, Jeffrey A. Bilmes|arXiv (Cornell University)|Jan 23, 2018

Complexity and Algorithms in Graphs参考文献 7被引用 13

一句话总结

本文提出了在基数约束或拟阵约束下，针对单调子模函数与单调超模函数之和的最大化问题的近似算法。通过引入曲率度量 $\kappa_f$ 和 $\kappa^g$，建立了紧致的近似保证：$\frac{1}{\kappa_f}\left[1-e^{-(1-\kappa^g)\kappa_f}\right]$ 和 $\frac{1-\kappa^g}{(1-\kappa^g)\kappa_f + p}$，表明尽管该问题在一般情况下不可近似，贪婪算法与半梯度方法仍能实现近似最优性能。

ABSTRACT

We analyze the performance of the greedy algorithm, and also a discrete semi-gradient based algorithm, for maximizing the sum of a suBmodular and suPermodular (BP) function (both of which are non-negative monotone non-decreasing) under two types of constraints, either a cardinality constraint or $p\geq 1$ matroid independence constraints. These problems occur naturally in several real-world applications in data science, machine learning, and artificial intelligence. The problems are ordinarily inapproximable to any factor (as we show). Using the curvature $κ_f$ of the submodular term, and introducing $κ^g$ for the supermodular term (a natural dual curvature for supermodular functions), however, both of which are computable in linear time, we show that BP maximization can be efficiently approximated by both the greedy and the semi-gradient based algorithm. The algorithms yield multiplicative guarantees of $\frac{1}{κ_f}\left[1-e^{-(1-κ^g)κ_f} ight]$ and $\frac{1-κ^g}{(1-κ^g)κ_f + p}$ for the two types of constraints respectively. For pure monotone supermodular constrained maximization, these yield $1-κ^g$ and $(1-κ^g)/p$ for the two types of constraints respectively. We also analyze the hardness of BP maximization and show that our guarantees match hardness by a constant factor and by $O(\ln(p))$ respectively. Computational experiments are also provided supporting our analysis.

研究动机与目标

• 为解决在组合约束下最大化单调子模函数与单调超模函数之和的问题，该问题在一般情况下不可近似。
• 引入并形式化超模函数的双曲率度量 $\kappa^g$，其与子模函数的广义曲率 $\kappa_f$ 类似。
• 在基数约束与 $p$-拟阵约束下，建立贪婪算法与离散半梯度算法的近似保证。
• 表明所推导的界与问题固有的困难程度相比，仅相差常数因子或对数因子。
• 通过计算实验验证理论结果，证明所提出算法在实际中的有效性。

提出的方法

• 为超模函数引入新的曲率度量 $\kappa^g$，定义为 $\kappa^g = \min_{v \in V} \frac{g(V \setminus \{v\})}{g(V)}$，用于捕捉超模性的程度。
• 提出一种贪婪算法，通过迭代选择在 $f(X) + g(X)$ 上边际增益最高的元素，且受限于可行集合。
• 设计一种基于离散半梯度的算法，利用超模项的次梯度指导选择，提升对非子模成分的鲁棒性。
• 利用曲率度量推导近似保证：在基数约束下为 $\frac{1}{\kappa_f}\left[1 - e^{-(1 - \kappa^g)\kappa_f}\right]$，在 $p$-拟阵约束下为 $\frac{1 - \kappa^g}{(1 - \kappa^g)\kappa_f + p}$。
• 证明两种算法的近似保证与问题的理论困难程度相比，仅相差常数因子或 $O(\ln p)$ 因子。
• 建立 $\kappa_f$ 与 $\kappa^g$ 可在常数时间内计算，从而支持算法的实际部署。

实验结果

研究问题

• RQ1 贪婪与半梯度算法能否在组合约束下，对单调子模与单调超模函数之和的最大化问题实现非平凡的近似保证？
• RQ2 哪些基于曲率的度量能够捕捉子模与超模分量之间的相互作用，从而实现近似保证？
• RQ3 贪婪与半梯度算法的近似保证与问题的固有困难程度相比如何？
• RQ4 曲率度量 $\kappa_f$ 与 $\kappa^g$ 是否可高效计算，从而支持算法的实际部署？
• RQ5 理论界是否与计算实验中观察到的实证性能一致？

主要发现

• 在基数约束下，贪婪算法实现了 $\frac{1}{\kappa_f}\left[1 - e^{-(1 - \kappa^g)\kappa_f}\right]$ 的近似保证。
• 在 $p$-拟阵约束下，离散半梯度算法实现了 $\frac{1 - \kappa^g}{(1 - \kappa^g)\kappa_f + p}$ 的保证。
• 对于纯单调超模函数最大化问题，该保证分别退化为 $1 - \kappa^g$ 与 $\frac{1 - \kappa^g}{p}$，与已知的困难界一致。
• $\kappa_f$ 与 $\kappa^g$ 可在常数时间内计算，支持算法的高效部署。
• 近似保证与问题的理论困难程度相比，分别仅相差常数因子与 $O(\ln p)$ 因子，表明界是紧致的。
• 计算实验表明，算法性能与理论边界预测一致，验证了分析的正确性。