[论文解读] Guarantees for Greedy Maximization of Non-submodular Functions with Applications

Yatao Bian, Joachim M. Buhmann+2 more|arXiv (Cornell University)|Mar 6, 2017

Complexity and Algorithms in Graphs参考文献 31被引用 98

一句话总结

本论文通过将子模性比率与曲率结合起来，为在基数约束下最大化非子模且单调非降的集合函数而给出紧致的近似保证，并在若干现实世界目标上进行了验证。

ABSTRACT

We investigate the performance of the standard Greedy algorithm for cardinality constrained maximization of non-submodular nondecreasing set functions. While there are strong theoretical guarantees on the performance of Greedy for maximizing submodular functions, there are few guarantees for non-submodular ones. However, Greedy enjoys strong empirical performance for many important non-submodular functions, e.g., the Bayesian A-optimality objective in experimental design. We prove theoretical guarantees supporting the empirical performance. Our guarantees are characterized by a combination of the (generalized) curvature $α$ and the submodularity ratio $γ$. In particular, we prove that Greedy enjoys a tight approximation guarantee of $\frac{1}α(1- e^{-γα})$ for cardinality constrained maximization. In addition, we bound the submodularity ratio and curvature for several important real-world objectives, including the Bayesian A-optimality objective, the determinantal function of a square submatrix and certain linear programs with combinatorial constraints. We experimentally validate our theoretical findings for both synthetic and real-world applications.

研究动机与目标

• 将子集选择问题动机化并分析为在 K 基数约束下最大化一个非子模且单调非降的集合函数。
• 引入并利用广义曲率和子模性比率来界定贪心算法的表现。
• 给出以曲率和子模性比率表示的贪心算法紧致的近似保证。
• 对重要目标如贝叶斯 A-最优性和行列式函数等，对这些参数进行界定。
• 在合成数据集和真实数据集上展示经验有效性。

提出的方法

• 为非子模函数 F 定义子模性比率 (gamma) 和广义曲率 (alpha)。
• 证明贪心算法在 F(S^K) >= (1/alpha)[1 - ((K - alpha*gamma)/K)^K] F(Omega*) 和 该界 >= (1/alpha) (1 - e^{-alpha*gamma}) F(Omega*) 的保证。
• 通过基于线性规划的论证以及按与 Omega* 的重叠度分组，证明最坏情形保证是紧的。
• 给出在 alpha 或 gamma 取特殊值时（例如子模或超子模情形）回收经典界的一种解释。
• 对贝叶斯 A-最优性、行列式函数，以及带组合约束的 LPs，给出 gamma 和 alpha 的界限。
• 在合成数据和真实数据上进行实验验证，将贪心与基于 SDP 的方法进行比较，并报告运行时间的改进。

实验结果

研究问题

• RQ1 在 K 基数约束下最大化非子模且单调非降的集合函数时，Greedy 的紧致近似保证是什么？
• RQ2 如何将曲率和子模性比率结合起来，以表征超越子模情形的 Greedy 性能？
• RQ3 这些参数是否可以对重要的现实世界目标（如贝叶斯 A-最优性、行列式目标以及带组合约束的 LPs）进行界定？
• RQ4 在合成数据和真实数据上的经验结果是否与理论保证一致并展示了计算优势？

主要发现

• Greedy 在基数约束下最大化非子模且单调非降函数时，取得紧致近似因子 (1/alpha)(1 - e^{-gamma alpha})。
• 在特殊情形下，性能保证回收经典界，且当 gamma 较高时，曲率可以提升保证。
• 对于若干目标，包括贝叶斯 A-最优性和行列式函数，可以对 gamma 和 alpha 进行界定，给出对 Greedy 的实用保证。
• Greedy 在解质量上常与 SDP 基的方法相匹配，同时在实验设计设置中提供数量级级的更快运行时间。
• 对合成数据和真实数据的经验结果证实 greedy 子模性比率接近 1，且 greedy 曲率通常小于经典总曲率，与观测到的性能相符。