[论文解读] Decomposable Submodular Function Minimization: Discrete and Continuous

Alina Ene, Huy L. Nguyên+1 more|London School of Economics and Political Science Research Online (London School of Economics and Political Science)|Mar 6, 2017

Complexity and Algorithms in Graphs被引用 15

一句话总结

本文建立了离散与连续方法在可分解子模函数最小化（DSFM）中的理论与实证联系，通过组合论证提出改进的运行时间估计，并进行了系统的实验比较。结果表明，在大规模团（large-clique）实例上，使用热启动的0级预言机的坐标下降法优于精确的组合算法，从而在传统方法失效的情况下实现了可扩展的近似解。

ABSTRACT

This paper investigates connections between discrete and continuous approaches for decomposable submodular function minimization. We provide improved running time estimates for the state-of-the-art continuous algorithms for the problem using combinatorial arguments. We also provide a systematic experimental comparison of the two types of methods, based on a clear distinction between level-0 and level-1 algorithms.

研究动机与目标

• 弥合可分解子模函数最小化（DSFM）中离散与连续方法的联系，特别是在大规模场景下。
• 通过组合分析改进连续算法的运行时间估计。
• 对离散与连续方法进行系统性实验比较，区分0级（预言机）与1级（优化）算法。
• 在具有复杂势函数的真实大规模问题实例上，评估坐标下降法与基于梯度的方法的性能。
• 证明通过热启动预言机改进的连续方法可在精确离散算法不可行的实例上实现实际可扩展性。

提出的方法

• 本文将DSFM归约为在基多面体中寻找最小范数点，利用凸优化公式化方法。
• 提出0级算法（用于单个子模函数的预言机子程序）与1级算法（使用这些预言机进行全局最小化）之间的区别。
• 对于0级，采用二次最小化预言机，求解 min_{y∈B(f_i)} ||y + w||²₂，对特定函数类型提供高效实现。
• 对于1级，评估了离散方法（如IBFS、子模流）与连续方法（梯度下降、坐标下降），使用相同的预言机接口。
• 为Fujishige-Wolfe算法引入热启动策略，从当前解初始化，以减少每次预言机调用的运行时间。
• 实验在包含一元、成对、平方和区域势函数的真实世界分割数据集上进行，测量运行时间与迭代过程中的收敛情况。

实验结果

研究问题

• RQ1 在大规模实例上，离散与连续DSFM方法在运行时间与可扩展性方面如何比较？
• RQ2 当0级预言机成本较高时（如在大规模团上），组合1级算法是否仍具实用性，例如使用通用的0级预言机（如Fujishige-Wolfe）？
• RQ3 在实践中，使用近似0级预言机的坐标下降法在多大程度上能优于精确的离散算法？
• RQ4 对Fujishige-Wolfe算法进行热启动在减少预言机时间的同时，对保持解质量有多大的有效性？
• RQ5 在连续方法中，当迭代次数有限时，解的精度与运行时间之间的权衡如何？

主要发现

• 在小团实例上，IBFS等离散1级算法显著快于连续方法，因为此时0级预言机效率高。
• 在大规模团实例上，使用通用0级预言机（如Fujishige-Wolfe）时，IBFS因预言机成本过高而变得不可行。
• 使用热启动Fujishige-Wolfe预言机的坐标下降法在大规模团实例上表现良好，1000次迭代可在10分钟内完成。
• 热启动的Fujishige-Wolfe算法显著减少了0级预言机的运行时间，使实际时间内可执行数百次迭代。
• 仅对Fujishige-Wolfe算法运行10次迭代并辅以热启动，即可提供足够改进，使坐标下降法在大规模实例上可行。
• 实验结果证实，通过改进预言机的连续方法可在精确离散方法不可行的实例上提供可扩展的近似解。