[논문 리뷰] Faster and Simpler Width-Independent Parallel Algorithms for Positive Semidefinite Programming

Richard Peng, Kanat Tangwongsan외 1명|arXiv (Cornell University)|2012. 01. 24.

Complexity and Algorithms in Graphs참고 문헌 12인용 수 22

한 줄 요약

이 논문은 정방형 행렬 프로그래밍(PSDPs)에 대해 더 단순하고 폭 매개변수에 의존하지 않는 NC 병렬 알고리즘을 제안하며, $O(\frac{1}{\varepsilon^3}\log^3 n)$회의 반복을 통해 $(1+\varepsilon)$-근사치를 달성한다. 각 반복은 기본 행렬 연산과 양의 준정적 행렬과 행렬 지수의 곱의 트레이스를 계산하는 것으로 구성되며, 입력이 인수분해된 형태로 주어지면 거의 선형(work)과 다항로그 깊이(depth)를 갖는다.

ABSTRACT

This paper studies the problem of finding an $(1+ε)$-approximate solution to positive semidefinite programs. These are semidefinite programs in which all matrices in the constraints and objective are positive semidefinite and all scalars are non-negative. We present a simpler \NC parallel algorithm that on input with $n$ constraint matrices, requires $O(\frac{1}{ε^3} log^3 n)$ iterations, each of which involves only simple matrix operations and computing the trace of the product of a matrix exponential and a positive semidefinite matrix. Further, given a positive SDP in a factorized form, the total work of our algorithm is nearly-linear in the number of non-zero entries in the factorization.

연구 동기 및 목표

• 폭 매개변수에 의존하지 않는 $(1+\varepsilon)$-근사치를 달성하는 정방형 행렬 프로그래밍(PSDPs)을 위한 병렬 알고리즘을 개발하는 것.
• 이전 연구에서 사용된 복잡한 고유공간 분석을 피하여 폭 매개변수에 독립적인 PSDP 알고리즘의 분석과 구현을 단순화하는 것.
• 입력이 인수분해된 형태로 주어질 경우 거의 선형 작업량과 다항로그 깊이를 달성하여 이전 연구의 고차 다항식 의존도를 향상시키는 것.
• 폭 매개변수에 독립적인 양의 선형계획법 알고리즘 프레임워크를 이중 업데이트를 통해 더 복잡한 정방형 행렬 프로그래밍 설정으로 확장하는 것.
• MaxCut 및 Sparsest Cut과 같이 정방형 SDP에 의존하는 핵심 응용 분야에 실용적이고 효율적인 병렬 솔루션을 제공하는 것.

제안 방법

• Young의 폭 매개변수에 독립적인 양의 선형계획법 알고리즘에 영감을 받은 다중 가중치 업데이트 규칙을 사용해 이중 변수를 갱신한다.
• 각 반복에서 양의 준정적 행렬 $\Phi$와 $A_i$에 대해 $\exp(\Phi) \bullet A_i$를 계산하며, 이는 행렬 지수의 저차 다항식 전개를 통해 근사된다.
• 행렬 지수의 근사화는 레마 4.2를 통해 달성되며, 이는 차수 $k = \max\{e^2\kappa, \ln(2\varepsilon^{-1})\}$까지 잘라낸 테일러 급수의 오차를 제한하여 $(1-\varepsilon)$-근사치를 보장한다.
• 계산 비용을 줄이기 위해 고차원 벡터를 $O(\frac{1}{\varepsilon^2}\log m)$ 차원으로 투영하기 위해 Johnson-Lindenstrauss 변환을 적용하여 $\|\Pi \widehat{B} Q_i\|_2$의 효율적 계산을 가능하게 한다.
• 행렬 지수의 트레이스를 $\|\exp(\frac{1}{2}\Phi) Q_i\|_2^2$로 표현하고, 행렬-벡터 곱을 이용해 병렬 환경에서 효율적으로 계산한다.
• 총 작업량은 $O(\frac{1}{\varepsilon^2}(\kappa \log(\varepsilon^{-1}) p + q)\log m)$ 이하이며, 깊이는 $O(\kappa \log m \log(\varepsilon^{-1}))$ 이하이다. 여기서 $q$는 제약 행렬 인수분해에서의 총 비제로 원소 수이다.

실험 결과

연구 질문

• RQ1 이전 연구에서 복잡한 고유공간 분석을 피하면서도 폭 매개변수에 독립적인 더 단순한 병렬 알고리즘을 정방형 행렬 프로그래밍에 설계할 수 있는가?
• RQ2 병렬 환경에서 양의 준정적 행렬과 행렬 지수의 곱의 트레이스를 계산하기 위해 필요한 최소 작업량과 깊이는 무엇인가?
• RQ3 병렬 아키텍처에서 계산 오 overhead 를 최소화하면서도 정확도를 유지할 수 있는 방식으로 행렬 지수를 효율적으로 근사화할 수 있는가?
• RQ4 Johnson-Lindenstrauss 변환과 다항식 근사화를 효과적으로 조합하여 PSDP 솔버에서 행렬 지수 계산의 작업량을 줄일 수 있는가?
• RQ5 폭 매개변수에 독립적인 양의 선형계획법 알고리즘 프레임워크는 더 일반적인 정방형 행렬 프로그래밍 설정으로 얼마나 넓게 확장될 수 있는가?

주요 결과

• 알고리즘은 $O(\frac{1}{\varepsilon^3}\log^3 n)$회의 반복을 통해 $(1+\varepsilon)$-근사치를 달성하며, 이는 Jain과 Yao(2013)의 $O(\frac{1}{\varepsilon^{13}}\log^{13}m\log n)$ 반복 수에 비해 향상된 것이다.
• 각 반복은 간단한 행렬 연산과 $\exp(\Phi) \bullet A_i$의 계산을 포함하며, 이는 행렬 지수의 저차 다항식 근사화를 통해 구현된다.
• 입력이 총 $q$개의 비제로 원소를 갖는 인수분해된 형태로 주어지면 총 작업량은 $\widetilde{O}(m + n + q)$가 되어 거의 선형 작업량 복잡도를 달성한다.
• 알고리즘의 깊이는 $O(\kappa \log m \log(\varepsilon^{-1}))$이며, $\kappa$가 유한할 경우 입력 크기에 대해 다항로그 깊이다.
• 알고리즘의 작업량과 깊이는 폭 매개변수에 독립적이므로, 폭이 클 수 있는 문제들(예: Sparsest Cut)에 적합하다.
• Johnson-Lindenstrauss 변환과 다항식 근사화의 활용은 $(1\pm\varepsilon)$ 정확도를 유지하면서도 $\exp(\Phi) \bullet A_i$의 효율적 병렬 평가를 가능하게 한다.