[논문 리뷰] Distributed SDDM Solvers: Theory & Applications

Rasul Tutunov, Haitham Bou-Ammar외 1명|arXiv (Cornell University)|2015. 08. 17.

Sparse and Compressive Sensing Techniques참고 문헌 49인용 수 3

한 줄 요약

이 논문은 네트워크 플로우 최적화에서 초거세한 수렴 속도를 보이며 효율적이고 확장 가능한 해법을 제공하는 분산형 대칭 대각우세 M행렬(SDDM)을 위한 두 가지 분산 솔버를 제안한다. 이는 분산된 희소 근사 역행렬 체인을 사용하여, 중앙집중식 솔버의 전역 계산을 대체함으로써 분산 환경에서의 효율적인 해법을 가능하게 한다. 제안된 방법은 수렴 속도에서 최신 기술 대비 최대 100배 빠르며, 임의의 정밀도 ϵ > 0 에 대해 뉴턴 방향을 근사하는 분산 뉴턴 방법을 통해 높은 정확도를 유지한다.

ABSTRACT

In this paper, we propose distributed solvers for systems of linear equations given by symmetric diagonally dominant M-matrices based on the parallel solver of Spielman and Peng. We propose two versions of the solvers, where in the first, full communication in the network is required, while in the second communication is restricted to the R-Hop neighborhood between nodes for some $R \geq 1$. We rigorously analyze the convergence and convergence rates of our solvers, showing that our methods are capable of outperforming state-of-the-art techniques. Having developed such solvers, we then contribute by proposing an accurate distributed Newton method for network flow optimization. Exploiting the sparsity pattern of the dual Hessian, we propose a Newton method for network flow optimization that is both faster and more accurate than state-of-the-art techniques. Our method utilizes the distributed SDDM solvers for determining the Newton direction up to any arbitrary precision $\epsilon >0$. We analyze the properties of our algorithm and show superlinear convergence within a neighborhood of the optimal. Finally, in a set of experiments conducted on randomly generated and barbell networks, we demonstrate that our approach is capable of significantly outperforming state-of-the-art techniques.

연구 동기 및 목표

• 제한된 통신 환경에서 대규모 네트워크에서 대칭 대각우세 M행렬(SDDM)을 위한 빠르고 분산된 솔버를 개발하는 것.
• 중앙집중식 조절자와 희소 역행렬 체인의 한계를 극복하기 위해 분산 환경에서 분산 계산을 가능하게 하는 방법을 제공하는 것.
• SDDM 솔버를 활용하여 고정밀도와 빠른 수렴 속도를 달성하는 네트워크 플로우 최적화를 위한 분산 뉴턴 방법을 설계하는 것.
• 다양한 네트워크 구조에서 기존 방법 대비 수렴 속도와 메시지 복잡도 측면에서 뛰어난 성능을 입증하는 것.
• 제안된 분산 솔버와 뉴턴 방법의 수렴 특성 및 메시지 복잡도를 분석하는 것.

제안 방법

• 펜그와 스피어만(2014)의 중앙집중식 솔버에서 전역 계산을 대체하기 위해 분산된 희소 근사 역행렬 체인을 제안하여, SDDM 시스템의 분산 해법을 가능하게 한다.
• 전체 네트워크 통신을 요구하는 버전과 R-호프 이웃 영역로 제한된 버전의 두 가지 솔버 변형을 도입하여 통신 오버헤드를 줄인다.
• 이중 단계 접근법을 사용한다: 먼저 '粗미세한' 해를 계산하고, 그 다음 분산 R-호프 조절자를 사용하여 ϵ-정밀도에 도달할 때까지 정밀화한다.
• 네트워크 플로우 문제에서 이중 헤시안의 희소성 패턴을 활용하여, SDDM 솔버를 사용해 뉴턴 방향을 효율적으로 계산하는 이차 방법을 설계한다.
• 1보다 작은 고유값을 가진 행렬의 거듭제곱을 활용하여 역행렬 체인의 길이를 단축함으로써, 이전 연구 대비 계산 복잡도를 감소시킨다.
• 수렴 속도를 분석하고 최적 해 근처에서 초거세한 수렴을 보임을 보이며, 정확한 중앙집중식 뉴턴 방법과 유사한 성능을 나타낸다.

실험 결과

연구 질문

• RQ1 중앙집중식 솔버의 수렴 속도와 정확도를 유지하면서도 분산 통신 제약 조건 하에서 작동하는 분산 SDDM 솔버를 설계할 수 있는가?
• RQ2 R-호프 이웃 영역으로 통신을 제한할 경우, 분산 SDDM 솔버의 수렴 속도와 계산 복잡도에 어떤 영향을 미치는가?
• RQ3 네트워크 플로우 최적화를 위한 분산 뉴턴 방법을 개발할 수 있는가? 이는 초거세한 수렴을 달성하고 정확한 중앙집중식 뉴턴 방법의 성능을 따라잡는다.
• RQ4 기존 방법 대비 제안된 분산 SDDM 솔버에서 메시지 복잡도와 수렴 속도 사이의 상호 교환 관계는 어떠한가?
• RQ5 바벨 그래프와 무작위 네트워크와 같은 복잡한 네트워크 구조에서 제안된 방법의 확장성은 어떠한가?

주요 결과

• 제안된 분산 SDDM 솔버는 랜덤 네트워크와 바벨 네트워크 양쪽에서 최신 기술(ADD 및 서브기울기 방법 포함) 대비 최대 100배 빠른 수렴 속도를 달성한다.
• 60개 노드로 구성된 바벨 그래프에서 SDDM-뉴턴 방법은 100회 이내로 수렴했으며, 두 번째로 좋은 방법인 ADD는 거의 3,000회의 반복이 필요했다.
• 최적 해 근처에서 초거세한 수렴을 보이며, 정확한 중앙집중식 뉴턴 방법의 성능을 밀접하게 따라잡았다.
• 메시지 복잡도는 O(κ(LG)dmax)로 제한되었으며, 여기서 κ(LG)는 그래프 라플라시안의 조건수로, 다른 방법 대비 다소 높은 증가를 보였다.
• 120개 노드로 구성된 바벨 네트워크에서 SDDM-뉴턴 방법은 목표 함수 값과 타당성 측면에서 뛰어난 성능을 유지하며, 확장성과 강건성을 확인했다.
• 이전 연구 대비 복잡도에서 log n 배 향상되었고, 특히 구성요소별 해 정밀도 측면에서 [34] 대비 그래프 차수에 비례하는 향상이 이루어졌다.