[论文解读] Fast Semidifferential-based Submodular Function Optimization

Rishabh Iyer, Stefanie Jegelka+1 more|arXiv (Cornell University)|Aug 5, 2013

Complexity and Algorithms in Graphs参考文献 46被引用 55

一句话总结

本文提出了一种基于离散次微分（次梯度与上梯度）的统一主要化-最小化（MM）框架，用于子模优化，实现了对无约束和有约束子模最小化与最大化问题的高效、实用算法。该方法统一并推广了现有的贪心算法与局部搜索方法，在保持强理论保证的同时，相较于精确方法实现了高达200–500倍的速度提升，实证性能达到最先进水平。

ABSTRACT

We present a practical and powerful new framework for both unconstrained and constrained submodular function optimization based on discrete semidifferentials (sub- and super-differentials). The resulting algorithms, which repeatedly compute and then efficiently optimize submodular semigradients, offer new and generalize many old methods for submodular optimization. Our approach, moreover, takes steps towards providing a unifying paradigm applicable to both submodular min- imization and maximization, problems that historically have been treated quite distinctly. The practicality of our algorithms is important since interest in submodularity, owing to its natural and wide applicability, has recently been in ascendance within machine learning. We analyze theoretical properties of our algorithms for minimization and maximization, and show that many state-of-the-art maximization algorithms are special cases. Lastly, we complement our theoretical analyses with supporting empirical experiments.

研究动机与目标

• 为大规模机器学习问题中的子模优化在可扩展性与实用性之间存在的差距提供解决方案。
• 在单一组合框架下统一传统上分离的子模最小化与最大化方法。
• 开发高效、实用的算法，推广并改进现有的贪心与局部搜索方法。
• 为所提出的基于次微分的优化框架提供理论边界与实证验证。
• 通过利用子模与上微分，避免连续松弛或舍入步骤，从而降低子模优化的计算成本。

提出的方法

• 该框架利用来自子模多面体与反子模多面体结构的离散次微分——次梯度与上梯度。
• 在最大化问题中，该方法应用主要化-最小化（MM）算法，通过选择的次梯度迭代优化一个代理函数。
• 在最小化问题中，提出了一种互补的主要化-最小化框架，利用上梯度来界定解空间并减少候选最小化器的数量。
• 该方法通过保持完全组合性，避免了连续松弛与舍入步骤，与基于Lovász或多元线性扩展的先前方法不同。
• 该算法框架包含多种次梯度选择策略（如贪心、随机、局部搜索）的变体，并与已知近似算法存在理论关联。
• 该方法可作为精确最小化算法的预处理步骤，通过最小化器的格点边界来缩小搜索空间。

实验结果

研究问题

• RQ1 能否通过单一组合框架，在统一的优化范式下统一子模最小化与最大化？
• RQ2 能否利用离散次微分设计出更快、更实用的算法，以推广并改进现有的贪心与局部搜索方法？
• RQ3 基于次微分的优化方法在子模函数上的理论近似保证与收敛特性为何？
• RQ4 在实践中，基于次微分的算法与精确方法及松弛方法相比性能如何？
• RQ5 最优次梯度选择的NP难性是否构成根本性瓶颈？启发式选择是否仍能获得优异的实证结果？

主要发现

• 所提出的MMax框架结合次梯度选择（如DLS、BG、RG、RLS）在实证中获得的近似因子显著优于理论最坏情况边界，通常优于最先进的贪心算法。
• MMax变体相较于[14]中的精确分支定界方法快200–500倍，使其在大规模问题上具有高度可扩展性。
• 该框架推广并包含了众多已知的子模最大化算法（包括贪心与局部搜索方法）作为特例。
• 在无约束最小化问题中，该框架为最小化器的格点提供了新的非平凡边界，从而缩小了搜索空间并加速了精确算法。
• 已证明最优次梯度选择为NP难问题，但启发式次梯度选择仍能获得优异的实证性能。
• 在合成数据与真实世界数据（如TIMIT语音语料库）上的实证结果证实了该方法在多样化子模目标下的鲁棒性与高效性。