[논문 리뷰] Distributed Primal-dual Interior-point Methods for Solving Loosely Coupled Problems Using Message Passing

Sina Khoshfetrat Pakazad, Anders Hansson외 1명|arXiv (Cornell University)|2015. 02. 23.

Advanced Optimization Algorithms Research참고 문헌 30인용 수 13

한 줄 요약

이 논문은 메시지 전달을 통해 에이전트 간에 계산을 분산시키는 분산 원천-쌍대 내점법을 제안한다. 이 방법은 가닥형 희박성 구조를 가진 느슨하게 결합된 볼록 최적화 문제를 해결하기 위해 사용되며, 기존 방법들과 비교해 훨씬 적은 반복 수로 고정밀도 해를 도출한다. 또한 반복 수의 수렴 상한을 문제의 결합 구조에만 의존하도록 보장한다.

ABSTRACT

In this paper, we propose a distributed algorithm for solving loosely coupled problems with chordal sparsity which relies on primal-dual interior-point methods. We achieve this by distributing the computations at each iteration, using message-passing. In comparison to already existing distributed algorithms for solving such problems, this algorithm requires far less number of iterations to converge to a solution with high accuracy. Furthermore, it is possible to compute an upper-bound for the number of required iterations which, unlike already existing methods, only depends on the coupling structure in the problem. We illustrate the performance of our proposed method using a set of numerical examples.

연구 동기 및 목표

• 느슨하게 결합된 볼록 문제에 대해 가닥형 희박성 구조를 가진 문제를 효율적으로 해결할 수 있는 분산 최적화 알고리즘을 개발한다.
• 기존의 분산 1차 방법 및 원천-쌍대 방법과 비교해 고정밀도 수렴을 달성하기 위해 필요한 반복 수를 줄인다.
• 문제의 스케일링 또는 조건수에 영향을 받지 않고 문제의 결합 구조에만 의존하는 반복 수에 대한 이론적 상한을 제공한다.
• 각 에이전트가 국소 문제 데이터를 노출하지 않고 이웃 에이전트와만 통신함으로써 프라이버시를 보장하면서도 계산 효율성을 유지할 수 있도록 한다.
• 내점법 프레임워크 내에서 클리크 트리 구조를 활용해 메시지 전달을 통해 검색 방향을 분산적으로 정확하게 계산한다.

제안 방법

• 이 방법은 느슨하게 결합된 문제에 대해 가닥형 희박성 구조를 가진 원천-쌍대 내점법 프레임워크를 사용하며, 각 에이전트별로 국소 하위문제로 문제를 분해한다.
• 문제의 희박성 구조를 나타내는 클리크 트리 표현을 기반으로 메시지 전달 프로토콜을 사용해 뉴턴 검색 방향의 계산을 분산한다.
• 에이전트 간의 메시지 교환을 통해 하위문제의 국소 최소값을 계산하며, 각 메시지는 변수 집합에 대해 목적함수의 최소값을 인코딩한다.
• 클리크 교차 성질을 이용해 겹치는 변수 집합 간의 일致성을 강제하고, 트리 구조 제약 조건을 통해 메시지 도메인의 상호 배타성을 확보한다.
• 희박성 패턴과 가닥형 구조를 활용해 변수 집합에 대해 순차적으로 최소화함으로써 메시지 전달 과정을 통해 정확한 검색 방향을 계산한다.
• 각 에이전트가 이웃 에이전트와만 통신하며 국소 클리크를 유지하는 트리 기반 분해에 의존함으로써 낮은 통신 오버헤드와 프라이버시를 보장한다.

실험 결과

연구 질문

• RQ1 메시지 전달을 사용해 가닥형 희박성 구조를 가진 느슨하게 결합된 문제를 해결할 수 있는 분산 원천-쌍대 내점법을 설계할 수 있는가?
• RQ2 이 방법은 고정밀도 해를 달성하기 위해 기존의 분산 1차 또는 프락시멀 방법보다 훨씬 적은 반복 수가 필요한가?
• RQ3 문제의 스케일링에 영향을 받지 않고 결합 구조에만 의존하는 반복 수에 대한 이론적 상한을 도출할 수 있는가?
• RQ4 메시지 전달을 통해 정확한 검색 방향을 분산적으로 계산하면서도 중심화된 내점법의 수렴 성질을 유지할 수 있는가?
• RQ5 기존의 분산 알고리즘과 비교해 이 방법의 반복 수와 해의 정밀도 측면에서 성능은 어떠한가?

주요 결과

• 제안된 방법은 기존의 1차 또는 프락시멀 기반 분산 알고리즘보다 훨씬 적은 반복 수로 고정밀도 해에 수렴한다.
• 문제의 결합 구조에만 의존하는 반복 수에 대한 상한이 유도되었으며, 문제의 스케일링이나 조건수에 영향을 받지 않는다.
• 메시지 전달 프로토콜은 모든 에이전트가 정확한 검색 방향을 분산적으로 계산함으로써 내점법의 이차 수렴 속도를 유지한다.
• 각 에이전트는 이웃 에이전트와만 통신하므로 국소 문제 데이터를 폭로하지 않으며, 에이전트 간의 완전한 프라이버시를 유지한다.
• 수치 예제는 이 방법이 특히 적은 반복 수로 고정밀도 해를 달성하는 데서 뛰어난 수렴 행동을 보임을 시사한다.
• 이론적 분석은 메시지 전달 과정이 서로 배타적인 변수 집합에 대해 목적함수의 최소값을 정확히 계산함으로써 분산 계산의 정확성을 보장함을 확인한다.