[论文解读] Learning with Submodular Functions: A Convex Optimization Perspective

Francis Bach|arXiv (Cornell University)|Nov 28, 2011

Complexity and Algorithms in Graphs被引用 12

一句话总结

本专著提出了一套用于子模函数的凸优化框架，建立了子模性、多面体理论与连续优化之间的紧密联系。它证明了子模函数最小化等价于求解一类凸优化问题，从而为机器学习中的应用（如结构化稀疏性和实验设计）提供了高效算法与理论保证。

ABSTRACT

Submodular functions are relevant to machine learning for at least two reasons: (1) some problems may be expressed directly as the optimization of submodular functions and (2) the lovasz extension of submodular functions provides a useful set of regularization functions for supervised and unsupervised learning. In this monograph, we present the theory of submodular functions from a convex analysis perspective, presenting tight links between certain polyhedra, combinatorial optimization and convex optimization problems. In particular, we show how submodular function minimization is equivalent to solving a wide variety of convex optimization problems. This allows the derivation of new efficient algorithms for approximate and exact submodular function minimization with theoretical guarantees and good practical performance. By listing many examples of submodular functions, we review various applications to machine learning, such as clustering, experimental design, sensor placement, graphical model structure learning or subset selection, as well as a family of structured sparsity-inducing norms that can be derived and used from submodular functions.

研究动机与目标

• 建立子模函数的严格凸分析基础，弥合组合优化与连续优化之间的鸿沟。
• 证明子模函数最小化等价于求解一大类凸优化问题，从而可应用标准凸优化工具。
• 推导新的高效算法——精确与近似算法——用于子模函数最小化，并提供理论收敛保证。
• 展示洛瓦兹扩展作为正则化函数在监督与无监督学习中的实用性。
• 通过子模函数及其凸松弛，统一并推广结构化稀疏性诱导范数。

提出的方法

• 利用洛瓦兹扩展将离散子模函数嵌入连续凸框架，从而启用凸优化技术。
• 将经典凸优化算法（如椭球法、条件梯度法与邻近方法）应用于子模函数最小化，通过其凸扩展实现。
• 采用基多面体与子模多面体刻画子模优化问题的可行集。
• 利用集合函数的凸包与凹包推导组合惩罚的凸松弛。
• 引入模块提升与单调化等操作，保持子模性并支持结构化优化。
• 应用活动集法与割平面法，高效求解可分与二次子模优化问题。

实验结果

研究问题

• RQ1 子模函数最小化如何被重述为凸优化问题？
• RQ2 洛瓦兹扩展在连接离散子模函数与连续凸函数中起什么作用？
• RQ3 哪些标准凸优化算法可被适配以求解子模函数最小化问题并提供理论保证？
• RQ4 子模函数如何用于定义机器学习中的结构化稀疏性诱导范数？
• RQ5 从子模函数导出的组合惩罚的凸松弛是什么？它们如何影响解路径？

主要发现

• 子模函数最小化等价于求解一类凸优化问题，从而可应用成熟可靠的凸优化算法。
• 洛瓦兹扩展提供了一种捕捉组合结构的凸正则化函数，使其适用于监督与无监督学习。
• 最小范数点算法与分析中心割平面法在子模函数最小化中达到多项式时间复杂度。
• 模块提升与单调化操作保持子模性，支持从已有函数构造新子模函数。
• 子模惩罚的凸松弛（如ℓq-松弛）为组合稀疏性诱导惩罚提供了连续近似。
• 实验表明，所提出的子模最小化与正则化最小二乘估计算法在性能上具有竞争力，并具备理论收敛保证。