[论文解读] Non-monotone Continuous DR-submodular Maximization: Structure and Algorithms

An Bian, Kfir Y. Levy+2 more|arXiv (Cornell University)|Jan 1, 2017

Complexity and Algorithms in Graphs被引用 7

一句话总结

本文提出了两种算法，用于在向下封闭的凸约束下最大化非单调 DR-亚模连续函数：一种两阶段方法，具有 1/4 的近似保证；一种非单调 Frank-Wolfe 变体，具有 1/e 的近似保证和次线性收敛速度。该研究建立了平稳点与全局最优解之间的几何性质联系，使得能够通过现有的非凸优化技术获得可证明的保证。

ABSTRACT

DR-submodular continuous functions are important objectives with wide real-world applications spanning MAP inference in determinantal point processes (DPPs), and mean-field inference for probabilistic submodular models, amongst others. DR-submodularity captures a subclass of non-convex functions that enables both exact minimization and approximate maximization in polynomial time. In this work we study the problem of maximizing non-monotone DR-submodular continuous functions under general down-closed convex constraints. We start by investigating geometric properties that underlie such objectives, e.g., a strong relation between (approximately) stationary points and global optimum is proved. These properties are then used to devise two optimization algorithms with provable guarantees. Concretely, we first devise a two-phase algorithm with $1/4$ approximation guarantee. This algorithm allows the use of existing methods for finding (approximately) stationary points as a subroutine, thus, harnessing recent progress in non-convex optimization. Then we present a non-monotone Frank-Wolfe variant with $1/e$ approximation guarantee and sublinear convergence rate. Finally, we extend our approach to a broader class of generalized DR-submodular continuous functions, which captures a wider spectrum of applications. Our theoretical findings are validated on synthetic and real-world problem instances.

研究动机与目标

• 解决在一般向下封闭凸约束下最大化非单调 DR-亚模连续函数的问题。
• 揭示非单调 DR-亚模函数中近似平稳点与全局最优解之间的几何性质联系。
• 开发具有可证明近似保证的优化算法，用于非单调 DR-亚模最大化。
• 将框架扩展至广义 DR-亚模连续函数，以提升其适用范围。
• 在合成数据和真实世界问题实例上验证理论发现。

提出的方法

• 提出一种两阶段算法，利用现有方法寻找近似平稳点作为子程序，实现 1/4 的近似保证。
• 开发一种非单调 Frank-Wolfe 变体，实现 1/e 的近似保证，并具有次线性收敛速率。
• 建立 DR-亚模函数中（近似）平稳点与全局最优解之间的强几何联系。
• 利用 DR-亚模结构，在非凸性存在的情况下实现多项式时间近似最大化。
• 将框架扩展至广义 DR-亚模函数，以捕捉更广泛的现实世界应用场景。
• 采用向下封闭的凸约束来建模优化中的实际可行区域。

实验结果

研究问题

• RQ1 在非单调 DR-亚模函数中，哪些几何性质将近似平稳点与全局最优解联系起来？
• RQ2 现有非凸优化方法能否被有效用于在一般凸约束下的 DR-亚模最大化？
• RQ3 使用 Frank-Wolfe 风格方法，非单调 DR-亚模最大化可实现何种近似保证？
• RQ4 如何将 DR-亚模框架扩展至广义连续函数，以提升其适用性？
• RQ5 在合成数据和真实世界实例上，可实现何种经验性能？

主要发现

• 本文证明了 DR-亚模函数中近似平稳点与全局最优解之间存在强关系，从而支持有效优化。
• 两阶段算法通过利用现有方法寻找平稳点，实现了 1/4 的近似保证。
• 非单调 Frank-Wolfe 变体实现了 1/e 的近似保证，并具有次线性收敛速率。
• 所提出的算法适用于广泛的真实世界问题，包括 DPP 中的 MAP 推断以及概率亚模模型中的平均场推断。
• 理论发现已在合成和真实世界问题实例上得到经验验证，展示了其实际有效性。
• 该框架已扩展至广义 DR-亚模连续函数，拓宽了其在多样化优化任务中的适用性。