[论文解读] Curvature and Optimal Algorithms for Learning and Minimizing Submodular Functions

Rishabh Iyer, Stefanie Jegelka+1 more|arXiv (Cornell University)|Nov 8, 2013

Complexity and Algorithms in Graphs参考文献 52被引用 50

一句话总结

本文将曲率引入为决定子模函数近似、学习与最小化复杂度的关键结构参数。它提供了依赖曲率的上下界，显著改进了先前结果，表明当曲率较低时，算法在近似因子上表现更优，且在多种问题设置下，实验结果与理论预测高度一致。

ABSTRACT

We investigate three related and important problems connected to machine learning: approximating a submodular function everywhere, learning a submodular function (in a PAC-like setting [53]), and constrained minimization of submodular functions. We show that the complexity of all three problems depends on the 'curvature' of the submodular function, and provide lower and upper bounds that refine and improve previous results [3, 16, 18, 52]. Our proof techniques are fairly generic. We either use a black-box transformation of the function (for approximation and learning), or a transformation of algorithms to use an appropriate surrogate function (for minimization). Curiously, curvature has been known to influence approximations for submodular maximization [7, 55], but its effect on minimization, approximation and learning has hitherto been open. We complete this picture, and also support our theoretical claims by empirical results.

研究动机与目标

• 理解曲率如何影响子模函数近似、学习与最小化的复杂度。
• 通过引入曲率作为参数，改进现有子模问题的多项式时间近似界。
• 弥合此前仅在最大化问题中研究过、而在最小化与学习中尚未充分理解的曲率作用的理论空白。
• 通过实证验证曲率在实践中对近似性能具有显著影响。
• 通过证明依赖曲率的边界在提升近似因子方面既必要又充分，统一并扩展了先前结果。

提出的方法

• 引入曲率系数 $\kappa_f$，以量化子模函数与模性之间的偏离程度。
• 通过函数的黑箱变换推导出依赖曲率的近似与学习算法。
• 将现有最小化算法改造为使用针对曲率定制的代理函数，以提升近似保证。
• 定义归一化的子模函数 $f^R_\kappa(X) = \kappa f(X) + (1-\kappa)|X|$，在保持结构的同时控制曲率。
• 通过从已知难解问题（如完美匹配与最小边覆盖）的约化证明下界。
• 在具有可调曲率的合成子模函数上进行实证评估，以验证理论边界。

实验结果

研究问题

• RQ1 曲率如何影响子模函数学习与最小化问题的近似因子？
• RQ2 依赖曲率的边界是否能收紧先前已知的子模问题多项式时间近似极限？
• RQ3 理论边界与实际性能之间是否存在显著差距，尤其是在低曲率函数中？
• RQ4 曲率能否作为子模优化问题（包括最小化与学习）中的统一参数？
• RQ5 随着曲率变化，现有算法（如 MUB 与 EA）在实际中的表现如何？

主要发现

• 本文建立了 PMAC 学习的下界为 $\Omega(n^{1/3})$，近似的下界为 $\Omega(\sqrt{n}/\log n)$，且均通过曲率得到细化。
• 对于最小子模边覆盖问题，近似因子的下界为 $\frac{n^{1-3\epsilon}}{2+(n^{1-3\epsilon}-2)(1-\kappa_f)+2\delta\kappa_f}$，显示出对曲率的依赖性。
• 实证结果表明，近似因子与理论边界高度吻合，且随着曲率 $\kappa$ 降低而显著改善。
• 当 $\alpha \geq n^{2/3}$ 时，EA 算法可找到最优解，表明高基数约束与低曲率可实现精确优化。
• 随着 $n$ 增大，理论与实证边界趋于稳定于 $1/(1-\kappa)$，表明对于固定的 $\kappa < 1$，近似因子为与 $n$ 无关的常数。
• 结果证实，曲率是可解性的关键决定因素：低曲率函数在学习与优化方面远比 $\kappa \approx 1$ 的函数容易得多。