[论文解读] Efficient Minimization of Decomposable Submodular Functions

Peter Stobbe, Andreas Krause|arXiv (Cornell University)|Oct 26, 2010

Complexity and Algorithms in Graphs参考文献 18被引用 91

一句话总结

本文提出SLG，一种新颖的算法，用于高效最小化可分解子模函数——即可表示为凹函数作用于模函数之和的函数。通过在Lovász扩展上采用平滑凸优化，SLG在大规模问题上实现了相较于最先进通用子模最小化算法的数个数量级加速，可扩展至数万个变量的问题，如在合成基准测试和图像处理中的联合分类与分割任务中所展示的那样。

ABSTRACT

Many combinatorial problems arising in machine learning can be reduced to the problem of minimizing a submodular function. Submodular functions are a natural discrete analog of convex functions, and can be minimized in strongly polynomial time. Unfortunately, state-of-the-art algorithms for general submodular minimization are intractable for larger problems. In this paper, we introduce a novel subclass of submodular minimization problems that we call decomposable. Decomposable submodular functions are those that can be represented as sums of concave functions applied to modular functions. We develop an algorithm, SLG, that can efficiently minimize decomposable submodular functions with tens of thousands of variables. Our algorithm exploits recent results in smoothed convex minimization. We apply SLG to synthetic benchmarks and a joint classification-and-segmentation task, and show that it outperforms the state-of-the-art general purpose submodular minimization algorithms by several orders of magnitude.

研究动机与目标

• 解决机器学习中大规模问题下一般子模函数最小化的计算不可行性。
• 识别并利用一种新型子模函数子类——可分解子模函数，其可实现高效最小化。
• 开发一种算法SLG，利用平滑凸优化技术高效最小化这些函数。
• 在实际机器学习任务（包括具有高阶势函数的图像分割）中，展示SLG在可扩展性和性能方面的实用性。

提出的方法

• 本文将可分解子模函数定义为凹函数作用于模函数之和的形式。
• 通过Lovász扩展对问题进行建模，该扩展为离散子模函数提供了凸的连续松弛。
• SLG在Lovász扩展上应用平滑凸最小化技术，通过基于梯度的方法实现高效优化。
• 该算法使用基于排列的公式计算Lovász扩展的次梯度，涉及集合差和函数值。
• 采用一种平滑技术，通过在高斯核上进行积分避免显式导数计算，从而实现高效的次梯度评估。
• 该方法在MATLAB/Mex中实现，并应用于合成数据和具有高阶势函数的实际图像分割任务。

实验结果

研究问题

• RQ1 能否识别出一种新型子模函数子类，使其在成对势函数之外也能实现高效最小化？
• RQ2 平滑凸优化技术能否有效应用于Lovász扩展，以解决大规模子模最小化问题？
• RQ3 SLG在大规模问题上与最先进通用子模最小化算法相比性能如何？
• RQ4 SLG能否在保持精确或近似精确解的同时，扩展至包含数万个变量的问题？

主要发现

• 在10,000个变量和90个凹势函数的问题上，SLG耗时71.4秒，而MinNorm算法耗时6,900秒，时间减少95%。
• 在更大的图像（40,000个变量）上，SLG耗时约1,600秒，展示了超越组合算法能力的可扩展性。
• 尽管使用了更快的机器和更简单的实现，SLG在合成基准测试中仍比MinNorm算法快达六倍。
• 通过引入基于图像区域的高阶凹势函数，SLG成功提升了边界区域的分割精度。
• SLG在一般子模最小化算法不可行的大规模问题上，既保持了精确最优性保证，又实现了实用的运行时间性能。
• 结果表明，SLG在联合分类与分割等大规模机器学习任务中具有实用性，而传统方法因计算复杂度而失效。