[论文解读] Submodular Functions: from Discrete to Continous Domains

Francis Bach|arXiv (Cornell University)|Nov 2, 2015

Complexity and Algorithms in Graphs参考文献 62被引用 31

一句话总结

本文通过使用概率测度引入凸的连续扩展，将子模函数理论从离散集合推广到连续域，证明该扩展为凸函数当且仅当原函数是子模的。主要贡献在于，子模函数最小化问题等价于求解一个凸优化问题，从而可借助具有收敛性保证的高效算法。

ABSTRACT

Submodular set-functions have many applications in combinatorial optimization, as they can be minimized and approximately maximized in polynomial time. A key element in many of the algorithms and analyses is the possibility of extending the submodular set-function to a convex function, which opens up tools from convex optimization. Submodularity goes beyond set-functions and has naturally been considered for problems with multiple labels or for functions defined on continuous domains, where it corresponds essentially to cross second-derivatives being nonpositive. In this paper, we show that most results relating submodularity and convexity for set-functions can be extended to all submodular functions. In particular, (a) we naturally define a continuous extension in a set of probability measures, (b) show that the extension is convex if and only if the original function is submodular, (c) prove that the problem of minimizing a submodular function is equivalent to a typically non-smooth convex optimization problem, and (d) propose another convex optimization problem with better computational properties (e.g., a smooth dual problem). Most of these extensions from the set-function situation are obtained by drawing links with the theory of multi-marginal optimal transport, which provides also a new interpretation of existing results for set-functions. We then provide practical algorithms to minimize generic submodular functions on discrete domains, with associated convergence rates.

研究动机与目标

• 将子模集函数的凸扩展推广至任意连续域，包括 ℝⁿ 的紧子集。
• 建立连续扩展为凸函数当且仅当原函数是子模的结论，将离散情形下的基础结果推广至连续设置。
• 证明子模函数最小化等价于在连续扩展中求解凸优化问题，从而可应用凸优化工具。
• 为在离散与连续域上最小化通用子模函数开发实用算法，并提供收敛速率的理论保证。
• 通过与多边际最优传输的联系，提供新见解，实现对现有结果的直观证明与重新诠释。

提出的方法

• 提出一种基于定义域 X = ∏ᵢ Xᵢ 上概率测度的子模函数连续扩展，定义扩展为 h(μ) = ∫ H(x) dμ(x)，其中 μ ∈ ℙ⊗(X)。
• 证明该扩展为凸函数当且仅当 H 是子模的，利用子模性与交叉二阶导数非正之间的等价性。
• 通过对偶性与最优传输理论，建立在 X 上最小化 H 与在乘积概率测度 μ ∈ ℙ⊗(X) 上最小化其凸扩展 h(μ) 之间的等价性。
• 通过在扩展中加入可分凸函数 G，引入正则化凸松弛，得到强凸对偶问题，适用于 Frank-Wolfe 方法。
• 利用多边际最优传输定义 H 的凸包络：h_closure(μ) = inf_{γ∈Π(μ)} ∫ H(x) dγ(x)，实现紧致的凸松弛。
• 基于函数评估与对偶性开发实用算法，收敛速率由凸优化理论推导得出。

实验结果

研究问题

• RQ1 子模集函数的凸扩展能否推广至定义在连续域上的子模函数？
• RQ2 在一般连续设置下，连续扩展的凸性是否等价于原函数的子模性？
• RQ3 子模函数最小化能否在连续域中重新表述为凸优化问题？若能，如何实现？
• RQ4 使用连续扩展最小化子模函数在计算上具有哪些优势，特别是在算法效率与收敛性方面？
• RQ5 如何利用与最优传输理论的联系，推导出子模函数性质的新解释与证明？

主要发现

• 将子模函数 H: X → ℝ 扩展至乘积概率测度空间时，其连续扩展为凸函数当且仅当 H 是子模的。
• 在 X 上最小化原子模函数 H 等价于在 μ ∈ ℙ⊗(X) 上最小化其凸扩展 h(μ)，从而可应用凸优化技术。
• 扩展的正则化版本 h(μ) + G(∫ x dμ(x)) 产生强凸对偶问题，提升 Frank-Wolfe 等算法的计算效率。
• H 的凸包络可通过最优传输计算为 h_closure(μ) = inf_{γ∈Π(μ)} ∫ H(x) dγ(x)，且对二元函数可显式计算。
• 对于可分解为简单子模分量之和的函数，通过扩展得到的凸松弛与标准线性规划松弛一致。
• 提出适用于离散与连续域上最小化子模函数的实用算法，其收敛速率由凸优化理论推导得出。