[논문 리뷰] Distributed Semidefinite Programming with Application to Large-scale System Analysis

Sina Khoshfetrat Pakazad, Anders Hansson외 2명|arXiv (Cornell University)|2015. 04. 29.

Water resources management and optimization인용 수 4

한 줄 요약

이 논문은 나무 구조를 가진 결합 패턴을 가진 대규모 준선형계획문제(SDPs)를 해결하기 위해 분산형 원천-이중 내점법을 제안한다. 클리크 트리 상에서 메시지 전달을 활용해 유한한 단계 안에 정확한 탐색 방향을 계산함으로써, 알고리즘은 낮은 반복당 계산 비용—작은 행렬의 분해와 에이전트당 반복당 정확히 12회 통신—을 바탕으로 이차 수렴을 달성한다. 이는 대규모 안정성 분석 문제에 대한 수치 실험에서 1차 방법보다 뛰어난 효율성을 보여준다.

ABSTRACT

Distributed algorithms for solving coupled semidefinite programs (SDPs) commonly require many iterations to converge. They also put high computational demand on the computational agents. In this paper we show that in case the coupled problem has an inherent tree structure, it is possible to devise an efficient distributed algorithm for solving such problems. This algorithm can potentially enjoy the same efficiency as centralized solvers that exploit sparsity. The proposed algorithm relies on predictor-corrector primal-dual interior-point methods, where we use a message-passing algorithm to compute the search directions distributedly. Message-passing here is closely related to dynamic programming over trees. This allows us to compute the exact search directions in a finite number of steps. Furthermore this number can be computed a priori and only depends on the coupling structure of the problem. We use the proposed algorithm for analyzing robustness of large-scale uncertain systems distributedly. We test the performance of this algorithm using numerical examples.

연구 동기 및 목표

• 대규모 SDP에 대한 1차 방법의 분산 알고리즘의 한계를 해결하기 위해, 느린 수렴 속도와 높은 반복당 계산 부담을 해결하고자 한다.
• 결합된 SDP에 내재된 나무 구조를 활용해 탐색 방향의 효율적이고 정확한 계산을 가능하게 하는 분산 알고리즘을 개발하고자 한다.
• 다이나믹 프로그래밍 기반 메시지 전달을 사용해 원천-이중 내점법 반복을 분산화하여 에이전트당 계산 부담을 줄이고자 한다.
• 대규모 상호연결 불확실 시스템의 안정성 분석을 분산적이고 확장 가능하며 효율적인 방식으로 수행하고자 한다.
• 나무 상에서 유한한 단계의 메시지 전달이 사전에 알려진 복잡도로 정확한 탐색 방향 계산을 가능하게 한다는 것을 입증하고자 한다.

제안 방법

• 알고리즘은 예측자-수정자 원천-이중 내점법을 사용하며, SDP의 나무 구조적 계산 그래프를 통해 계산을 에이전트들 간에 분산한다.
• 탐색 방향은 SDP의 희소성 패턴을 나타내는 클리크 트리 표현에 기반한 비순차적 동적 프로그래밍과 밀접하게 관련된 메시지 전달 알고리즘을 사용해 계산한다.
• 메시지 전달 과정은 문제 크기와 무관하게 트리의 높이에 의해 상한이 주어지는 유한한 단계 수 안에 정확한 탐색 방향을 계산한다.
• 각 에이전트는 반복당 하나의 행렬 분해만 수행하고, 이웃 에이전트와 정확히 12회 통신함으로써 계산 오버헤드를 최소화한다.
• 알고리즘은 코르달 희소성과 클리크 트리 분해를 활용해 결합된 SDP를 병렬 계산에 적합한 분산 형태로 재구성한다.
• 알고리즘은 스케일 프리 네트워크 구조를 가진 수치 예제를 사용해 대규모 상호연결 불확실 시스템의 안정성 분석에 적용된다.

실험 결과

연구 질문

• RQ1 나무 구조적 결합을 가진 대규모 SDP에 대해, 분산 원천-이중 내점법이 1차 방법보다 더 빠른 수렴을 달성할 수 있는가?
• RQ2 클리크 트리 상에서 메시지 전달이 사전에 알려진 복잡도로 정확한 탐색 방향을 유한한 단계 안에 계산할 수 있는가?
• RQ3 나무 구조를 사용해 원천-이중 반복을 분산할 경우, 에이전트당 반복당 계산 비용과 통신 부담은 얼마인가?
• RQ4 희소 상호연결성을 가진 대규모 안정성 분석 문제에서 이 알고리즘이 실제로 어떻게 성능을 발휘하는가?
• RQ5 높은 트리 높이와 많은 수의 클리크를 가진 문제에 대해서도 이 방법이 효율적으로 확장되어 이차 수렴을 유지할 수 있는가?

주요 결과

• 대규모 예제(579개 클리크, 트리 높이 35)에서 알고리즘이 최대 14회 반복 내에 수렴하여 빠른 이차 수렴을 보였다.
• 최악의 경우, 대규모 예제에 대해 총 5,880단계가 필요했으며, 각 에이전트는 14번의 행렬 분해와 168회의 통신을 수행했다.
• 작은 예제(198개 하위문제, 트리 높이 9)에서는 12회 반복 내에 수렴했고, 총 14,256단계가 필요했다.
• 에이전트당 필요한 단계 수는 문제 크기와 무관하게 트리의 높이에 의해 결정되며, 사전에 계산 가능했다.
• 수치 결과에서 수렴 행동은 표준 중심화된 원천-이중 방법과 매우 유사했으며, 명확한 이차 단계가 관찰되었다.
• 메시지 전달을 통한 정확한 탐색 방향 계산을 달성하여, 1차 방법의 근사 오차와 느린 수렴을 피할 수 있었다.