[论文解读] A Projection Method for Metric-Constrained Optimization

Nate Veldt, David F. Gleich+2 more|arXiv (Cornell University)|Jun 5, 2018

Advanced Multi-Objective Optimization Algorithms参考文献 39被引用 5

一句话总结

本文提出了一种基于投影的新型求解器，用于处理度量约束优化问题，通过广义并改进的Dykstra投影算法，高效求解具有$O(n^2)$变量和$O(n^3)$三角不等式约束的大规模线性和二次规划问题。该方法在高达$10^8$个变量和$7 \times 10^{11}$个约束的问题上，实现了对NP难聚类松弛问题的高精度求解，显著优于以往的黑箱求解器，在内存占用和可扩展性方面表现更优。

ABSTRACT

We outline a new approach for solving optimization problems which enforce triangle inequalities on output variables. We refer to this as metric-constrained optimization, and give several examples where problems of this form arise in machine learning applications and theoretical approximation algorithms for graph clustering. Although these problem are interesting from a theoretical perspective, they are challenging to solve in practice due to the high memory requirement of black-box solvers. In order to address this challenge we first prove that the metric-constrained linear program relaxation of correlation clustering is equivalent to a special case of the metric nearness problem. We then developed a general solver for metric-constrained linear and quadratic programs by generalizing and improving a simple projection algorithm originally developed for metric nearness. We give several novel approximation guarantees for using our framework to find lower bounds for optimal solutions to several challenging graph clustering problems. We also demonstrate the power of our framework by solving optimizing problems involving up to 10^{8} variables and 10^{11} constraints.

研究动机与目标

• 为解决机器学习和图聚类中出现的大规模度量约束优化问题的实际挑战，这些问题由于存在$O(n^2)$个变量和$O(n^3)$个三角不等式约束而计算成本过高。
• 开发一种可扩展、内存高效的度量约束线性和二次规划求解器，避免黑箱求解器的内存瓶颈。
• 通过基于对偶的停止准则和舍入过程，提供强约束满足和解质量的理论保证。
• 在大规模NP难聚类问题实例上展示该框架的有效性，包括相关聚类和最稀疏割松弛。
• 建立一个通用框架，适用于多种应用，如度量邻近性、半监督聚类和联合图像分割聚类。

提出的方法

• 将Dykstra投影算法广义并改进，以求解度量约束优化问题，将其应用范围从$β$-度量邻近性问题扩展到一般线性和二次规划问题。
• 引入一种基于对偶的停止准则，监测对偶目标函数，并在接近收敛时触发舍入步骤，从而提升约束满足度和解质量。
• 引入一个关键参数$\gamma$，以弥合度量约束线性规划与更易求解的相关二次规划之间的差距，并提出新颖的$\gamma$设置策略。
• 通过迭代三角不等式修复更新来强制执行三角不等式，同时注重保持对偶变量的稀疏性，以减少内存使用。
• 在初始阶段即使用完整的约束集，而非采用惰性约束生成策略，其动机源于经验观察：在诸如最稀疏割等问题中，许多约束是紧的。
• 在收敛后采用细致的舍入策略，以生成具有强近似保证的可行解，适用于聚类目标。

实验结果

研究问题

• RQ1 能否将基于投影的方法推广，以求解度量邻近性问题之外的广泛度量约束线性和二次规划问题？
• RQ2 如何设计一种基于对偶的停止准则，以确保在大规模度量约束优化中实现强约束满足度和解质量？
• RQ3 为何最稀疏割松弛问题的内存消耗高于相关聚类问题，尽管其约束结构相似？
• RQ4 参数$\gamma$在度量约束二次规划中，如何在解质量与计算可处理性之间实现平衡？
• RQ5 投影方法能否扩展到具有$10^8$个变量和$10^{11}$个约束的问题规模，而传统求解器因内存限制而失效？

主要发现

• 相关聚类的度量约束线性规划松弛在数学上等价于$\ell_1$度量邻近性问题的一个特例，从而支持算法的共享开发。
• 所提出的求解器成功求解了包含数千个节点的图的Leighton-Rao最稀疏割松弛问题，实现了收敛，而此前方法因内存限制而失败。
• 该框架在包含11,204个节点的真实网络上求解了相关聚类的LP松弛，规模超过以往报告结果的10倍，使用了$10^8$个变量和$7 \times 10^{11}$个约束。
• 对于最大规模实例（caHepPh，11,204个节点），求解耗时167.5小时，最终目标函数值为1.27，证明了其在极端问题规模下的可扩展性。
• 该方法在具有大量紧约束的问题（如最稀疏割）中，优于标准黑箱求解器和惰性约束方法，其优势源于采用完整约束集的策略。
• 实证分析表明，最稀疏割松弛生成的对偶向量比相关聚类更密集，解释了其更高的内存使用量，以及惰性约束方法在该类问题上的失效原因。