[论文解读] Continuous Submodular Function Maximization

Patton, Kalen, Joachim M. Buhmann+1 more|arXiv (Cornell University)|Jun 24, 2020

Complexity and Algorithms in Graphs参考文献 99被引用 4

一句话总结

本文提出了连续子模函数最大化，这是一种用于优化非凸目标并具备可证明保证的框架。它确立了连续DR-子模性作为关键性质，使多项式时间算法成为可能，并提出了诸如缩减Frank-Wolfe和两阶段Frank-Wolfe等可证明方法，在影响最大化与收益优化任务中优于现有方法。

ABSTRACT

Continuous submodular functions are a category of generally non-convex/non-concave functions with a wide spectrum of applications. The celebrated property of this class of functions - continuous submodularity - enables both exact minimization and approximate maximization in poly. time. Continuous submodularity is obtained by generalizing the notion of submodularity from discrete domains to continuous domains. It intuitively captures a repulsive effect amongst different dimensions of the defined multivariate function. In this paper, we systematically study continuous submodularity and a class of non-convex optimization problems: continuous submodular function maximization. We start by a thorough characterization of the class of continuous submodular functions, and show that continuous submodularity is equivalent to a weak version of the diminishing returns (DR) property. Thus we also derive a subclass of continuous submodular functions, termed continuous DR-submodular functions, which enjoys the full DR property. Then we present operations that preserve continuous (DR-)submodularity, thus yielding general rules for composing new submodular functions. We establish intriguing properties for the problem of constrained DR-submodular maximization, such as the local-global relation. We identify several applications of continuous submodular optimization, ranging from influence maximization, MAP inference for DPPs to provable mean field inference. For these applications, continuous submodularity formalizes valuable domain knowledge relevant for optimizing this class of objectives. We present inapproximability results and provable algorithms for two problem settings: constrained monotone DR-submodular maximization and constrained non-monotone DR-submodular maximization. Finally, we extensively evaluate the effectiveness of the proposed algorithms.

研究动机与目标

• 将连续子模性形式化为离散子模性在连续域上的推广。
• 通过弱递减回报性质识别并表征连续DR-子模函数。
• 为受限单调与非单调DR-子模最大化开发可证明的多项式时间算法。
• 在真实世界应用（如影响最大化与具有连续分配的收益优化）中展示这些算法的有效性。
• 建立DR-子模最大化相关的理论性质，如局部-全局收敛关系。

提出的方法

• 通过弱递减回报（DR）性质引入连续子模性，其等价于连续域上的子模性。
• 将连续DR-子模函数定义为具有完整DR性质的子类，从而实现更强的理论保证。
• 提出保持连续（DR-）子模性的复合规则，支持新子模函数的系统构建。
• 设计两种新算法：缩减Frank-Wolfe与两阶段Frank-Wolfe，其在不同步长策略下具有收敛保证。
• 整合局部-全局收敛性质，将DR-子模最大化中的局部平稳点与全局最优解联系起来。
• 将该框架应用于真实世界问题，包括具有通用营销策略的影响最大化，以及对数-子模模型中的平均场推理。

实验结果

研究问题

• RQ1 子模性如何从离散域推广到连续域？这类函数的关键数学性质是什么？
• RQ2 连续子模性与连续设置下递减回报（DR）性质之间有何关系？
• RQ3 哪些运算能保持连续（DR-）子模性，从而支持新子模函数的系统构建？
• RQ4 能否为受限连续DR-子模最大化设计可证明的多项式时间算法？与现有方法相比表现如何？
• RQ5 所提出的算法在真实世界优化问题（如影响与收益最大化）中的实际表现如何？

主要发现

• 连续DR-子模函数由弱递减回报性质表征，而具有完整DR性质的子类可实现更强的优化保证。
• 局部-全局收敛性质成立：任何连续DR-子模函数的局部（近似）平稳点均在全局最优解的常数因子范围内。
• 在真实世界图上，缩减Frank-Wolfe与两阶段Frank-Wolfe在预期收益上优于PGA-based方法，其中两阶段FW收敛最快。
• 在"Reality Mining"子图（n=5）中，缩减FW为用户A（最具影响力）分配6.1单位，其次为C（3.3）和E（0.6），与网络影响模式一致。
• 两阶段FW采用Lipschitz步长策略，在所有测试的真实世界图（n=217至n=4039）中达到最高目标值并实现最快收敛。
• PGA算法需要调整Lipschitz参数L或常数C，而缩减FW与采用无状态步长的两阶段FW则无需超参数调优。