[论文解读] Faster and Simpler Width-Independent Parallel Algorithms for Positive Semidefinite Programming

Richard Peng, Kanat Tangwongsan+1 more|arXiv (Cornell University)|Jan 24, 2012

Complexity and Algorithms in Graphs参考文献 12被引用 22

一句话总结

该论文提出了一种更简单、与宽度无关的NC并行算法，用于求解正定半定规划（PSDPs），在$O(\frac{1}{\varepsilon^3}\log^3 n)$轮迭代内实现$(1+\varepsilon)$-近似。每轮迭代仅涉及基本矩阵运算以及计算矩阵指数与正定矩阵乘积的迹，当输入以因式分解形式给出时，其总工作量接近线性，深度为多对数级别。

ABSTRACT

This paper studies the problem of finding an $(1+ε)$-approximate solution to positive semidefinite programs. These are semidefinite programs in which all matrices in the constraints and objective are positive semidefinite and all scalars are non-negative. We present a simpler \NC parallel algorithm that on input with $n$ constraint matrices, requires $O(\frac{1}{ε^3} log^3 n)$ iterations, each of which involves only simple matrix operations and computing the trace of the product of a matrix exponential and a positive semidefinite matrix. Further, given a positive SDP in a factorized form, the total work of our algorithm is nearly-linear in the number of non-zero entries in the factorization.

研究动机与目标

• 开发一种用于正定半定规划（PSDPs）的并行算法，实现在宽度参数无关情况下的$(1+\varepsilon)$-近似。
• 通过避免先前工作中使用的复杂特征子空间分析，简化宽度无关PSDP算法的分析与实现。
• 当输入以因式分解形式给出时，实现接近线性的工作量和多对数深度，优于以往工作中存在的更高阶多项式依赖关系。
• 通过对偶更新，将宽度无关正线性规划算法的框架扩展到更复杂的正定半定规划设置中。
• 为MaxCut和Sparsest Cut等关键应用提供一种实用且高效的并行解决方案，这些应用依赖于正定SDP。

提出的方法

• 该算法采用受Young提出的宽度无关正线性规划算法启发的乘法权重更新规则来更新对偶变量。
• 每轮迭代计算$\exp(\Phi) \bullet A_i$，其中$\Phi$和$A_i$为正定矩阵，通过矩阵指数的低次多项式展开近似实现。
• 矩阵指数的近似通过引理4.2实现，该引理将截断泰勒级数（最高至次数$k = \max\{e^2\kappa, \ln(2\varepsilon^{-1})\}$）的误差进行有界，确保实现$(1-\varepsilon)$-近似。
• 为降低计算成本，应用Johnson-Lindenstrauss变换将高维向量投影至$O(\frac{1}{\varepsilon^2}\log m)$维空间，从而高效计算$\|\Pi \widehat{B} Q_i\|_2$。
• 通过将$\exp(\Phi) \bullet A_i$表示为$\|\exp(\frac{1}{2}\Phi) Q_i\|_2^2$，并利用矩阵-向量乘积高效并行计算迹。
• 总工作量被限制在$O(\frac{1}{\varepsilon^2}(\kappa \log(\varepsilon^{-1}) p + q)\log m)$，深度为$O(\kappa \log m \log(\varepsilon^{-1}))$，其中$q$为约束矩阵因式分解中非零元的总数。

实验结果

研究问题

• RQ1 能否设计一种更简单、与宽度无关的并行算法用于正定半定规划，从而避免先前工作中复杂的特征子空间分析？
• RQ2 在并行环境下，计算矩阵指数与正定矩阵乘积的迹所需的最小工作量和深度是多少？
• RQ3 如何高效地近似矩阵指数，以在保持精度的同时最小化并行架构中的计算开销？
• RQ4 Johnson-Lindenstrauss变换能否与多项式近似有效结合，以降低PSDP求解器中矩阵指数计算的工作量？
• RQ5 宽度无关正线性规划算法的框架在多大程度上可以扩展到更一般的正定半定规划设置中？

主要发现

• 该算法在$O(\frac{1}{\varepsilon^3}\log^3 n)$轮迭代内实现$(1+\varepsilon)$-近似，优于Jain和Yao（2013）的$O(\frac{1}{\varepsilon^{13}}\log^{13}m\log n)$轮迭代数。
• 每轮迭代仅涉及简单的矩阵运算以及$\exp(\Phi) \bullet A_i$的计算，后者通过矩阵指数的低次多项式近似实现。
• 当输入以因式分解形式给出且非零元总数为$q$时，总工作量为$\widetilde{O}(m + n + q)$，实现接近线性的工作量复杂度。
• 该算法的深度为$O(\kappa \log m \log(\varepsilon^{-1}))$，当$\kappa$有界时，其为输入规模的多对数级别。
• 该算法的工作量和深度与宽度参数无关，因此适用于宽度可能较大的问题（如Sparsest Cut）。
• 通过结合Johnson-Lindenstrauss变换与多项式近似，实现了$\exp(\Phi) \bullet A_i$的高效并行计算，精度达到$(1\pm\varepsilon)$。