[论文解读] Convex Analysis and Optimization with Submodular Functions: a Tutorial

Francis Bach|arXiv (Cornell University)|Oct 20, 2010

Complexity and Algorithms in Graphs参考文献 39被引用 26

一句话总结

本教程全面且自包含地介绍了子模函数及其与凸分析的联系，重点在于洛瓦兹扩展、多面体结构、对偶性及优化。它将子模函数确立为凸函数的离散类比，通过凸松弛和多面体几何实现高效最小化与邻近优化。

ABSTRACT

Set-functions appear in many areas of computer science and applied mathematics, such as machine learning, computer vision, operations research or electrical networks. Among these set-functions, submodular functions play an important role, similar to convex functions on vector spaces. In this tutorial, the theory of submodular functions is presented, in a self-contained way, with all results shown from first principles. A good knowledge of convex analysis is assumed.

研究动机与目标

• 提供一份统一且自包含的子模函数及其在凸优化中作用的教程。
• 通过洛瓦兹扩展及相关多面体，建立子模函数与凸分析之间的联系。
• 通过子模多面体与基多面体，介绍优化技术——尤其是最小化与邻近方法。
• 通过基本原理的证明与对偶理论，阐明子模性的理论基础。
• 通过机器学习、熵、谱函数及拟阵理论中的多样化实例，阐明子模函数的相关性。

提出的方法

• 利用洛瓦兹扩展将子模集合函数映射为单位立方体上的凸函数。
• 将子模多面体与基多面体定义为凸集，其支撑函数与子模函数相关。
• 应用对偶理论推导子模多面体的最优性条件与面结构。
• 引入最小范数点算法与组合方法，用于子模函数最小化。
• 通过洛瓦兹扩展与基多面体约束，重新解释可分优化问题。
• 采用同伦与分解方法求解涉及子模函数的邻近问题。

实验结果

研究问题

• RQ1 子模函数如何通过递减收益性质及二阶差分实现等价刻画？
• RQ2 洛瓦兹扩展在连接离散子模函数与连续凸分析中起什么作用？
• RQ3 如何利用子模多面体的对偶性与面结构推导最优性条件？
• RQ4 子模函数最小化的关键算法方法有哪些？它们与凸优化有何关联？
• RQ5 常见的函数如熵、行列式与秩函数在哪些情境下表现为子模函数？

主要发现

• 子模函数等价于递减收益性质，可通过一阶与二阶差分刻画。
• 洛瓦兹扩展为子模函数提供了凸松弛，使其可在单位立方体上实现连续优化。
• 子模多面体的支撑函数等于子模函数本身，其最大化点对应特定子集。
• 最小范数点算法为子模函数最小化提供了一种多项式时间方法。
• 非减的子模函数自然出现在熵、行列式与谱函数中，在信息论与统计学中有应用。
• 拟阵的秩函数是子模的，这包括图拟阵与线性拟阵等重要情形。