[論文レビュー] Faster and Simpler Width-Independent Parallel Algorithms for Positive Semidefinite Programming

Richard Peng, Kanat Tangwongsan+1 more|arXiv (Cornell University)|Jan 24, 2012

Complexity and Algorithms in Graphs参考文献 12被引用数 22

ひとこと要約

本稿では、正定値計画問題（PSDP）に対して、幅パラメータに依存しないより単純なNC並列アルゴリズムを提示する。$(1+\varepsilon)$-近似を$O(\frac{1}{\varepsilon^3}\log^3 n)$回の反復で達成する。各反復では基本的な行列演算と、正定値行列の行列指数のトレースを計算する操作を含み、入力が因数分解形式で与えられた場合、ほぼ線形の計算量と多対数的深さを達成する。

ABSTRACT

This paper studies the problem of finding an $(1+ε)$-approximate solution to positive semidefinite programs. These are semidefinite programs in which all matrices in the constraints and objective are positive semidefinite and all scalars are non-negative. We present a simpler \NC parallel algorithm that on input with $n$ constraint matrices, requires $O(\frac{1}{ε^3} log^3 n)$ iterations, each of which involves only simple matrix operations and computing the trace of the product of a matrix exponential and a positive semidefinite matrix. Further, given a positive SDP in a factorized form, the total work of our algorithm is nearly-linear in the number of non-zero entries in the factorization.

研究の動機と目的

• 幅パラメータに依存しない$(1+\varepsilon)$-近似を達成する正定値計画問題（PSDP）の並列アルゴリズムの開発。
• 先行研究で用いられる複雑な固有空間解析を避けることで、幅パラメータに依存しないPSDPアルゴリズムの解析と実装を単純化すること。
• 入力が因数分解形式で与えられた場合に、ほぼ線形の計算量と多対数的深さを達成し、従来の方法よりも高次多項式依存性が低いことを実現すること。
• 双対更新を用いて、幅パラメータに依存しない正線形計画法の枠組みを、より複雑な正定値計画問題の設定へと拡張すること。
• MaxCut や Sparsest Cut といった、正定値半定値計画法に依存する重要な応用分野に対して、実用的で効率的な並列ソリューションを提供すること。

提案手法

• Youngの幅パラメータに依存しない正線形計画法アルゴリズムにインspiredされた乗法的重み更新ルールを用いて、双対変数を更新する。
• 各反復で、正定値行列$\Phi$と$A_i$に対して$\exp(\Phi) \bullet A_i$を計算するが、これは行列指数の低次多項式展開によって近似される。
• 行列指数の近似は、Lemma 4.2により実現され、$k = \max\{e^2\kappa, \ln(2\varepsilon^{-1})\}$までのテイラー級数の切り捨て誤差が抑えられ、$(1-\varepsilon)$-近似が保証される。
• 計算コストを削減するため、高次元のベクトルを$O(\frac{1}{\varepsilon^2}\log m)$次元に射影するJohnson-Lindenstrauss変換を適用し、$\|\Pi \widehat{B} Q_i\|_2$の効率的計算を可能にする。
• 行列指数のトレース$\exp(\Phi) \bullet A_i$は、$\|\exp(\frac{1}{2}\Phi) Q_i\|_2^2$として表現され、行列-ベクトル積を用いて並列で効率的に評価される。
• 総計算量は$O(\frac{1}{\varepsilon^2}(\kappa \log(\varepsilon^{-1}) p + q)\log m)$で抑えられ、深さは$O(\kappa \log m \log(\varepsilon^{-1}))$である。ここで$q$は制約行列の因数分解における非ゼロ要素の合計数である。

実験結果

リサーチクエスチョン

• RQ1 先行研究で複雑な固有空間解析を必要としているのを避けることで、幅パラメータに依存しないより単純な並列アルゴリズムを、正定値計画問題に設計可能か？
• RQ2 並列環境下で、正定値行列との行列指数積のトレースを計算するのに必要な最小の計算量と深さは何か？
• RQ3 並列アーキテクチャにおける計算オーバーヘッドを最小限に抑えつつ、正確性を保つために、行列指数をどのように効率的に近似できるか？
• RQ4 Johnson-Lindenstrauss変換と多項式近似を組み合わせることで、PSDPソルバーにおける行列指数計算の計算量を効果的に削減可能か？
• RQ5 幅パラメータに依存しない正線形計画法の枠組みを、より一般的な正定値計画問題の設定へとどの程度まで拡張可能か？

主な発見

• アルゴリズムは$O(\frac{1}{\varepsilon^3}\log^3 n)$回の反復で$(1+\varepsilon)$-近似を達成し、JainとYao（2013）の$O(\frac{1}{\varepsilon^{13}}\log^{13}m\log n)$の反復回数を改善する。
• 各反復では、基本的な行列演算と$\exp(\Phi) \bullet A_i$の計算のみを含み、これは行列指数の低次多項式近似により実装される。
• 入力が$q$個の非ゼロ要素を持つ因数分解形式で与えられた場合、総計算量は$\widetilde{O}(m + n + q)$となり、ほぼ線形の計算量複雑度を達成する。
• アルゴリズムの深さは$O(\kappa \log m \log(\varepsilon^{-1}))$であり、$\kappa$が有界であれば入力サイズに関して多対数的である。
• アルゴリズムの計算量と深さは幅パラメータに依存しないため、幅が大きい問題（例：Sparsest Cut）に適している。
• Johnson-Lindenstrauss変換と多項式近似の併用により、$(1\pm\varepsilon)$の精度を保ちながら、$\exp(\Phi) \bullet A_i$の並列効率的評価が可能になった。