[论文解读] A Fully Sparse Implementation of a Primal-Dual Interior-Point Potential Reduction Method for Semidefinite Programming

Gun Srijuntongsiri, Stephen A. Vavasis|arXiv (Cornell University)|Dec 2, 2004

Advanced Optimization Algorithms Research参考文献 17被引用 11

一句话总结

本文提出了一种用于半定规划的全稀疏原始-对偶内点势值下降方法，通过使用部分矩阵表示和基于反向模式自动微分的高效障碍函数梯度与Hessian-向量积计算，充分利用了数据矩阵中的稀疏性。该方法在平面稀疏模式下实现每迭代O(n^{5/2})的时间复杂度和O(n log n)的空间复杂度，显著优于标准的O(n^3)和O(n^2)复杂度。

ABSTRACT

In this paper, we show a way to exploit sparsity in the problem data in a primal-dual potential reduction method for solving a class of semidefinite programs. When the problem data is sparse, the dual variable is also sparse, but the primal one is not. To avoid working with the dense primal variable, we apply Fukuda et al.'s theory of partial matrix completion and work with partial matrices instead. The other place in the algorithm where sparsity should be exploited is in the computation of the search direction, where the gradient and the Hessian-matrix product of the primal and dual barrier functions must be computed in every iteration. By using an idea from automatic differentiation in backward mode, both the gradient and the Hessian-matrix product can be computed in time proportional to the time needed to compute the barrier functions of sparse variables itself. Moreover, the high space complexity that is normally associated with the use of automatic differentiation in backward mode can be avoided in this case. In addition, we suggest a technique to efficiently compute the determinant of the positive definite matrix completion that is required to compute primal search directions. The method of obtaining one of the primal search directions that minimizes the number of the evaluations of the determinant of the positive definite completion is also proposed. We then implement the algorithm and test it on the problem of finding the maximum cut of a graph.

研究动机与目标

• 开发一种高效的SDP求解器，充分挖掘问题数据中稀疏性的优势，尤其在原始变量为稠密但数据稀疏的情况下。
• 克服传统内点方法中稠密原始变量存储与操作带来的计算瓶颈。
• 通过利用稀疏性和先进数值技术，实现原始-对偶势值下降方法中搜索方向的高效计算。
• 降低正定矩阵补全中行列式计算的时间与空间复杂度，这是原始搜索方向计算中的关键操作。

提出的方法

• 基于Fukuda等人提出的矩阵补全理论，使用部分矩阵表示，避免存储和操作稠密原始变量。
• 应用反向模式自动微分，以与障碍函数评估时间成比例的方式计算障碍函数的梯度与Hessian-向量积，从而利用稀疏性。
• 采用共轭梯度法求解搜索方向的线性系统，无需显式构造或分解Hessian矩阵。
• 提出一种技术，可在不重复评估正定补全矩阵行列式的情况下计算一个原始搜索方向，从而减少高成本操作。
• 在重叠的最大团之间复用Cholesky分解因子，以加速矩阵补全的行列式计算，尤其在带状或平面结构中效果显著。
• 引入两种额外的非牛顿搜索方向，复用牛顿方向中的计算量，增加成本极低，但能显著提升势值下降效果。

实验结果

研究问题

• RQ1 在原始-对偶势值下降框架中，能否在不引入稠密矩阵运算的前提下，完全利用SDP数据矩阵中的稀疏性？
• RQ2 在稀疏SDP问题中，如何高效计算对数障碍函数的梯度与Hessian-向量积？
• RQ3 能否比重复使用Cholesky分解更高效地计算正定矩阵补全的行列式？
• RQ4 对于具有平面稀疏模式的问题，全稀疏SDP求解器可达到的时间与空间复杂度是多少？
• RQ5 能否以极低计算开销计算额外的搜索方向，同时显著提升每次迭代的势值下降效果？

主要发现

• 对于聚合稀疏模式构成平面图的SDP问题，该算法在每迭代中实现O(n^{5/2})的时间复杂度和O(n log n)的空间复杂度。
• 反向模式自动微分的使用使得梯度与Hessian-向量积的计算时间与障碍函数评估时间相当，即使在稀疏问题中也是如此。
• 求解搜索方向系统所采用的共轭梯度法收敛于少量迭代，使得该方法尽管依赖迭代线性求解，仍具有实际可行性。
• 所提出的正定补全矩阵行列式计算方法在带状情况下将复杂度降低至O((n-p)p^2)，与Cholesky分解的复杂度相当。
• 增加两个非牛顿搜索方向在计算开销极低的情况下显著提升了每次迭代的势值下降效果，实际中实现更快收敛。
• 在MAX-CUT实例上的实验结果表明，使用全部四个搜索方向的完整算法比仅使用牛顿方向能更快找到最优解。