[论文解读] Minimizing a sum of submodular functions

Vladimir Kolmogorov|arXiv (Cornell University)|Jun 10, 2010

Complexity and Algorithms in Graphs参考文献 16被引用 4

一句话总结

该论文通过在辅助图中将问题转化为子模流实例，提出了一种高效算法来最小化子模函数之和，利用针对各项的专用交换容量预言机。该方法通过利用Iwata的容量缩放技术，揭示了问题结构，实现了改进的时间复杂度——尤其在依赖基数的项中表现更优，相较于通用子模最小化方法，在视觉应用中实际表现更优。

ABSTRACT

We consider the problem of minimizing a function represented as a sum of submodular terms. We assume each term allows an efficient computation of {\em exchange capacities}. This holds, for example, for terms depending on a small number of variables, or for certain cardinality-dependent terms. A naive application of submodular minimization algorithms would not exploit the existence of specialized exchange capacity subroutines for individual terms. To overcome this, we cast the problem as a {\em submodular flow} (SF) problem in an auxiliary graph, and show that applying most existing SF algorithms would rely only on these subroutines. We then explore in more detail Iwata's capacity scaling approach for submodular flows (Math. Programming, 76(2):299--308, 1997). In particular, we show how to improve its complexity in the case when the function contains cardinality-dependent terms.

研究动机与目标

• 开发一种比通用子模最小化更快的算法，用于最小化子模函数之和，特别是当各项可高效计算交换容量时。
• 通过利用诸如基数依赖或成对交互等项中的问题特异性结构，克服通用子模最小化的低效性。
• 使计算机视觉中复杂能量函数的实际优化成为可能，这些函数目前因计算成本过高而仅能通过最小 $s$-$t$ 割约化来处理。
• 在现有约化的基础上进行推广和改进，表明结合容量缩放的子模流可高效处理更广泛的子模项类别。

提出的方法

• 将问题重新表述为在辅助图中的子模流（SF）问题，其中交换容量对应于各项的子模函数。
• 该算法采用Iwata的容量缩放方法处理子模流，通过迭代缩放容量阈值来逐步优化解。
• 对于每一项 $f_Q$，该方法依赖于专用的交换容量预言机，可对任意 $z \in \mathbb{R}^Q$ 高效计算 $\min_S f_Q(S) - z(S)$。
• 时间复杂度取决于 $\alpha_Q$ 和 $\beta_Q$，它们量化了不同项类型计算交换容量的成本：成对项为 $O(1)$，基数项为 $O(|Q|)$，成对交互项为 $O(|Q|^2)$。
• 算法根据子集成员关系（如 $Q'$, $Q''$）对弧进行分组处理，并利用预计算数组与前缀和，高效判断有效的流转移。
• 提出一种新过程 $\texttt{ProcessLeft}_{10}(v)$，通过基于 $\min \bar{g}(k',k'') > 0$ 的动态阈值，处理 $\bar{A}_{10}$ 弧中的组间流。

实验结果

研究问题

• RQ1 我们能否通过利用各项内部结构，比通用子模最小化更高效地最小化子模函数之和？
• RQ2 如何在保持对各项高效交换容量预言机访问的前提下，将问题约化为子模流？
• RQ3 当各项依赖于基数或成对交互时，所得算法的时间复杂度是多少？
• RQ4 在存在基数依赖项的情况下，能否改进Iwata算法在子模流中的缩放复杂度？
• RQ5 通过使用结合结构化预言机的子模流，能否避免因 $s$-$t$ 割约化导致的计算量过大问题？

主要发现

• 所提算法的时间复杂度为 $O\left((n + \sum_Q \alpha_Q)(n + \sum_Q \beta_Q)\log U\right)$，其中 $U$ 是函数值的上界。
• 对于成对项（$|Q|=2$），复杂度为 $O(n^2 \log U)$，与该类问题的最佳已知界一致。
• 对于基数依赖项 $f_Q(S) = g(|S|)$ 且 $g$ 为凹函数的情形，复杂度为 $O(n|Q| \log U)$，优于以往约化所需 $O(|Q|^2)$ 条边的方案。
• 对于依赖于两个不相交子集 $Q', Q''$ 的项，复杂度为 $O(n|Q|^2 \log U)$，显著优于通用子模最小化。
• 该方法避免了 $s$-$t$ 割约化中使用的庞大辅助图，每项仅需 $O(|Q|)$ 内存，而非 $O(|Q|^2)$。
• 该算法在子模项较小且结构清晰的计算机视觉应用中具有实用性，使以往被认为计算成本过高而无法直接最小化的能量函数得以优化。