[论文解读] Continuous DR-submodular Maximization: Structure and Algorithms

An Bian, Kfir Y. Levy+2 more|arXiv (Cornell University)|Nov 4, 2017

Complexity and Algorithms in Graphs参考文献 37被引用 10

一句话总结

本文提出了两种新颖算法，用于在一般向下封闭凸约束下最大化非单调连续 DR-次模函数。它建立了将驻点与全局最优解联系起来的几何性质，并提出了一种两阶段 Frank-Wolfe 方法，具有 1/4-近似保证和 1/√k 收敛速率；同时提出了一种非单调 Frank-Wolfe 变体，具有 1/e-近似保证和次线性收敛速度，两者均具有可证明的性能边界。

ABSTRACT

DR-submodular continuous functions are important objectives with wide real-world applications spanning MAP inference in determinantal point processes (DPPs), and mean-field inference for probabilistic submodular models, amongst others. DR-submodularity captures a subclass of non-convex functions that enables both exact minimization and approximate maximization in polynomial time. In this work we study the problem of maximizing non-monotone DR-submodular continuous functions under general down-closed convex constraints. We start by investigating geometric properties that underlie such objectives, e.g., a strong relation between (approximately) stationary points and global optimum is proved. These properties are then used to devise two optimization algorithms with provable guarantees. Concretely, we first devise a "two-phase" algorithm with $1/4$ approximation guarantee. This algorithm allows the use of existing methods for finding (approximately) stationary points as a subroutine, thus, harnessing recent progress in non-convex optimization. Then we present a non-monotone Frank-Wolfe variant with $1/e$ approximation guarantee and sublinear convergence rate. Finally, we extend our approach to a broader class of generalized DR-submodular continuous functions, which captures a wider spectrum of applications. Our theoretical findings are validated on synthetic and real-world problem instances.

研究动机与目标

• 解决在一般向下封闭凸约束下，对非单调连续 DR-次模函数进行最大化时缺乏保证性算法的问题。
• 研究 DR-次模函数背后的几何结构，特别是驻点与全局最优解之间的关系。
• 为这一类广义非凸问题设计高效且具有可证明近似保证的优化算法。
• 将框架扩展至锥格上的广义 DR-次模函数，以建模更广泛的应用，如非负主成分分析（non-negative PCA）和非凸正则化逻辑回归。
• 在合成数据和真实世界实例上，对理论发现进行实证验证，包括 DPP 的 softmax 扩展和平均场推理问题。

提出的方法

• 提出一种两阶段 Frank-Wolfe 风格的算法，利用现有方法作为子程序寻找近似驻点，实现 1/4-近似保证和 1/√k 的收敛速率。
• 提出一种非单调 Frank-Wolfe 变体，利用 DR-次模性结构，实现 1/e-近似保证和次线性收敛速度。
• 建立驻点处目标函数值与全局最优值之间差值的理论边界，在强 DR-次模性下边界更紧。
• 定义并分析在锥格上的一类广义 DR-次模函数，使非负主成分分析和非凸正则化逻辑回归等应用得以建模。
• 提供一种约化技术，将广义 DR-次模问题转化为标准连续次模优化问题，从而可使用现有求解器。
• 利用约束优化中的非驻性概念与 DR 性质，推导出收敛性和近似保证。

实验结果

研究问题

• RQ1 在连续 DR-次模最大化中，哪些几何性质将驻点与全局最优解联系起来？
• RQ2 我们能否为在一般向下封闭凸约束下的非单调连续 DR-次模最大化设计可证明收敛的算法？
• RQ3 此类问题可实现何种近似保证？与单调或盒约束情形下的已知边界相比如何？
• RQ4 该框架如何扩展以建模超越标准 DR-次模函数的更广泛非凸优化问题？
• RQ5 在真实世界和合成实例上，特别是 DPP 和平均场推理等应用中，预期可获得何种实证性能？

主要发现

• 本文证明了驻点处目标函数值与全局最优值之间的差值是有界的，且在强 DR-次模性下边界更紧。
• 两阶段 Frank-Wolfe 算法实现了 1/4-近似保证，并以 O(1/√k) 的速率收敛。
• 非单调 Frank-Wolfe 变体实现了 1/e-近似保证，并表现出次线性收敛速度，优于 1/4 的边界。
• 理论分析表明，驻点接近全局最优解，从而可有效利用非凸优化子程序。
• 广义 DR-次模框架可通过约化为标准次模优化，实现对非负主成分分析和非凸正则化逻辑回归等复杂应用的建模。
• 在合成和真实世界实例上的实证结果，包括 DPP 的 softmax 扩展，证实了所提算法的有效性，其中两阶段 Frank-Wolfe 在测试设置中表现更优。