[논문 리뷰] Communication-Efficient Algorithms For Distributed Optimization

Mota, João F. C.|arXiv (Cornell University)|2013. 12. 01.

Distributed Control Multi-Agent Systems참고 문헌 208인용 수 4

한 줄 요약

이 논문은 각 노드가 국소 비용 함수를 보유하고 그 합을 최소화하기 위해 협력하는 네트워크를 위한 통신 효율적인 분산 최적화 알고리즘을 제안한다. 새로운 분류 체계를 통해 함수 종속성의 희소성을 활용함으로써, 저자들은 ADMM 기반 알고리즘을 설계하여 통신 라운드 수를 감소시켰으며, 평균 공감, 서포트 벡터 머신, 압축 측정, 모델 예측 제어 등 다양한 분야에서 이전 방법들보다 뛰어난 성능을 입증하였다.

ABSTRACT

This thesis is concerned with the design of distributed algorithms for solving optimization problems. We consider networks where each node has exclusive access to a cost function, and design algorithms that make all nodes cooperate to find the minimum of the sum of all the cost functions. Several problems in signal processing, control, and machine learning can be posed as such optimization problems. Given that communication is often the most energy-consuming operation in networks, it is important to design communication-efficient algorithms. The main contributions of this thesis are a classification scheme for distributed optimization and a set of corresponding communication-efficient algorithms. The class of optimization problems we consider is quite general, since each function may depend on arbitrary components of the optimization variable, and not necessarily on all of them. In doing so, we go beyond the common assumption in distributed optimization and create additional structure that can be used to reduce the number of communications. This structure is captured by our classification scheme, which identifies easier instances of the problem, for example the standard distributed optimization problem, where all functions depend on all the components of the variable. In our algorithms, no central node coordinates the network, all the communications occur between neighboring nodes, and the data associated with each node is processed locally. We show several applications including average consensus, support vector machines, network flows, and several distributed scenarios for compressed sensing. We also propose a new framework for distributed model predictive control. Through extensive numerical experiments, we show that our algorithms outperform prior distributed algorithms in terms of communication-efficiency, even some that were specifically designed for a particular application.

연구 동기 및 목표

• 분산 최적화에서 높은 통신 비용을 해결하기 위해 노드 간 메시지 수를 최소화한다.
• 각 함수가 변수의 부분집합에만 의존하는 분산 최적화의 일반적 프레임워크를 개발한다. 이를 통해 구조적 특성을 활용할 수 있도록 한다.
• 중앙 집중적 조율 없이도 전체 분포를 유지하고 각 노드에서 국소 처리를 수행할 수 있는 통신 효율적인 알고리즘을 설계한다.
• 변수 종속성 구조를 기반으로 분산 최적화 문제를 분류할 수 있는 체계를 제안하여 해결이 더 쉬운 사례를 식별한다.
• 평균 공감, 서포트 벡터 머신, 네트워크 플로우, 압축 측정 등 다양한 응용 분야에서 접근 방식의 유효성을 입증한다.

제안 방법

• 블록 구조 변수와 공통 조건을 사용한 분산 최적화 문제의 재구성.
• 재구성된 문제에 2-블록 ADMM를 적용하여, 원소 및 이중 변수에 대한 번갈아 가며 최소화를 통해 분산 업데이트를 가능하게 한다.
• 각 함수가 구성 요소의 부분집합에만 의존하는 변수의 희소성을 활용하여 하위 문제를 분해하고 통신을 감소시킨다.
• 대칭성과 쌍별 제약 조건을 이용해 이중 변수에 대한 폐쇄형 업데이트를 유도하여, 이중 업데이트를 국소 및 이웃 추정치에만 의존하도록 단순화한다.
• 통신 오버헤드를 줄이고 효율적인 국소 업데이트를 가능하게 하기 위해 새로운 이중 변수 집계 γ(p),k_l = ∑_{j∈Np∩Vl} λpj,k_l 를 도입한다.
• 공통 조건을 단순화하고 메시지 수를 줄이기 위해 식 z{p,j},k+1_l = (x(p),k+1_l + x(j),k+1_l)/2 를 사용한다.

실험 결과

연구 질문

• RQ1 국소 비용 함수의 종속성 구조를 어떻게 활용하여 분산 최적화에서 통신을 줄일 수 있는가?
• RQ2 변수의 희소성 기반으로 분산 최적화 문제를 분류할 수 있는 체계를 설계할 수 있으며, 이는 더 효율적인 알고리즘으로 이어지는가?
• RQ3 함수가 변수의 부분집합에만 의존할 경우, ADMM 기반 알고리즘을 얼마나 단순화하고 통신 효율적으로 만들 수 있는가?
• RQ4 제안된 알고리즘이 최신 통신 효율적 방법들과 비교할 때 수렴 속도와 메시지 수 측면에서 어떤 성능을 보이는가?
• RQ5 이 프레임워크는 서포트 벡터 머신, 압축 측정, 분산 모델 예측 제어와 같은 실제 문제에 적용되어 효율성이 향상되는가?

주요 결과

• 제안된 알고리즘은 평균 공감, 서포트 벡터 머신 등 특정 응용 분야에 특화된 것으로 설계된 기존의 분산 최적화 방법들보다 통신 회수를 줄였다.
• 분류 체계는 완전히 결합된 문제와 같은 더 단순한 문제 유형을 식별하여 맞춤형으로 더 효율적인 알고리즘을 도출할 수 있도록 했다.
• 대칭적인 이중 변수 초기화를 통해 이중 업데이트가 z{p,j},k+1_l = (x(p),k+1_l + x(j),k+1_l)/2 로 단순화되어 통신 복잡도가 감소함을 보장한다.
• 평균 공감과 서포트 벡터 머신에 대한 광범위한 수치 실험을 통해 메시지 전달 수가 크게 감소한 상태에서 수렴을 달성함을 검증하였다.
• 제안된 최적화 구조에 문제를 재구성함으로써 효율적인 분산 모델 예측 제어를 가능하게 하였다.
• 집계된 이중 변수에 대한 유도된 업데이트 γ(p),k+1_l = γ(p),k_l + (ρ/2) ∑_{j∈Np∩Vl} (x(p),k+1_l - x(j),k+1_l) 는 국소 계산을 가능하게 하고 전역 조율에 대한 의존도를 줄였다.